[Object Tracking] SiamMask

 

 

 

 

 

이 논문에서는 실시간 객체 추적(Object Tracking) 및 Semi-supervised 기반의 객체 세그먼트를 모두 수행하는 방법을 설명한다.

 

SiamMask 라고 불리는 이 방법은 바이너리 세그먼트 작업으로 Loss 를 Augmentation 시켜 객체 추적을 위해 Full-convolutional Siamese 접근법을 적용하여 학습 과정을 개선시킨다.

 

학습된 SiamMask는 단일 경계 상자(a single bounding box) 초기값에만 의존을 받으며, 초당 35 프레임의 회전이 가능한 경계 상자를 생성한다. 단순하며, 추적이 가능하고, 세그먼트 까지 가능함에도 불구하고 빠른속도를 보장한다. 

 

 

 

 

 

 

 

 

네트워크 구성은 위와 같은데, 4-th stage 의 최종 컨볼루션 레이어 까지 백본으로 resnet50 을 사용하였다. 더 깊은 레이어에서 높은 공간 해상도(spatial resolution)을 얻기 위해 stride 1의 컨볼루션을 사용하여 output stride 를 8로 줄인다. 또한 dilated convoution 을 사용하여 receptive field 를 증가시킨다. 이 모델에서는 백본에 unshared adjust layer (1 x 1 conv with 256 outputs)를 추가하였다. 

 

 

 

 

 

 

 

 

Baskeball 및 Nature 사진은 VOT-2018 데이터셋, Car-Shadow 는 DAVIS-2016 데이터셋, Dogs-Jump, Pigs 는 DAVIS-2017 데이터셋에서 발췌한 사진들이라고 한다.

 

 

 

 

 

 

이 논문에서는 fully-convoutional Siamese tracker 가 각 객체 클래스에 대해서 독립적인 바이너리 세그먼트 마스크를 생성할 수 있는 간단한 접근방식인 SiamMask 를 소개하였다. 또한 여기서 Visaul Object Tracking 및 Semi-supervised Video Object Segmentation 을 모두 성공적으로 적용 할 수 있는 방법을 소개하였으며, 최첨단 추적기보다 더 나은 정확도를 제공함과 동시에 VOS 방법 중에서 가장 빠른 속도를 보여준다. 

 

 

 

 

 

 

Project : http://www.robots.ox.ac.uk/~qwang/SiamMask/

Fast Online Object Tracking and Segmentation: A Unifying Approach

 

Paper : https://arxiv.org/pdf/1812.05050.pdf

 

Github : https://github.com/foolwood/SiamMask

foolwood/SiamMask