Multi-Fiber Networks for Video Recognition

1. Contribution

• 높은 효율성을 가지는 Multi Fiber 아키택쳐를 제안하고, 그것을 2D와 3D에서의 효율성을 모두 검증하였다.
• 여러 2D, 3D(비디오) 데이터셋에서성능을 확인하고 모델의 효율성과 성능을 보였다.

2. Multi Fiber Network

기존 3D CNN같은 경우 굉장히 큰 연산량과 그에 따른 시간이 소비 되었다. 그것을 개선하기 위한 MF unit을 제안한다. 이것은 network간의 연결을 최소화해 혀여 모델의 효율성을 증가 시켰다.

MFNet을 2D와 3D 모두 적용시켜 , 둘다 좋은 효율성과 성능을 보이는 것을 확인했다,

2.1 Multi-fiber Unit

제안된 방법론은 ResNet을기반으로 진행했다. ResNet 은 그림 1 (a)와 같은 방식으로 진행이 된다. 이에 대한 계산량을 식으로 보면 식 1과 간은 연산량이 나온다.

이러한 계산량 을 줄이기 위해서 그림 1 (c) 와 같은 세분화된 모델을 제안햔다. 기존 모델을 저렇게 나누게 되면 식 2 롸 같이 연산량이 1/N만큼 줄어들게 된다.

하지만 제안하는 것 처럼 모델을 나누게 된다면 학습시에 각각의 타워가 학습 시 받아드리는 정보가 제한된다는 단점이 생기게 된다. 따라서 이러한 단점을 보안 하기 위해서 ResNeXt가 사용한 그림 1 (b)와 같은 방식을 사용했을때, 1×1 layer가  계산 비용을 지배하고 병목 현상이 된다 이러한 상황을 방지하기 위해 이 논문은 그림 1(d) 와 같은 방식으로 모델을 나누는 것을 제안한다. 기존 방식과 다른 점은 모델의 작은 부분을 나누지 않고 전체를 나누며, 또한 정보의 흐름을 위해서 Multiplexer라는 것을 넣어서 각 타워간에 정보를 공유 할 수 있도록 한다.

Multiplexer는 모든 정보를 모으고 그것을 다시 증폭시키는 역할을 한다. 그림 1(e)와 같이 1×1 layer두개로 그 역할을 각각 진행한다. 레이어를 두개 사용하므로써 연산량을 줄이는 효과를 얻는다.

2. 결과

2.1 2D

위 논문은 3D 에서의 성능 향상을 목표로 하고 있지만 Multiplexer의 효율성을 증명하기 위해서 2D 모델에서 먼저 검증을 진행했다.

기존 모델들에 MF 모듈을 붙혔을때 성능 향상을 기록하는 것을 확인할 수 있다.

2.2 3D

기존3D cnn방식의 모델들 보다 크기가 작고 성능이 높은 것을 확인할 수 있다.