[Action Recognition] Challenges

 

 

인간 행동 인식 분야에서 행동을 인식하는데 어려운 요인들은 다음과 같이 정리 할 수 있다.

 

 

Intra- and inter-class Variations

• 사람들은 동일한 행동에 대해 다르게 행동함
• 예를 들어 “Running” 같은 의미론적 행동에 대해 어떤 사람은 빠르게 달리거나, 어떤 사람들은 느리게 달리거나, 점프하며 달릴 수 있음
• 즉, 하나의 행동 범주에는 다양한 스타일의 행동들이 포함될 수 있음
• 또한 동일한 행동을 다양한 시점에서 캡쳐 할 수 있음 (front, side, top, …)
• 이러한 appearance variation 으로 인하여 행동 인식이 힘듦
• 그리고 “Running” 및 “Walking” 은 유사한 동작 패턴을 내포하고 있으므로 이를 기계가 구별하기가 힘듦

 

 

Cluttered Background and Camera Motion

• 대부분의 인간 행동 인식 방법은 실내에 한해 통제된 환경에서 잘 작동하지만 통제되지 않은 실외 환경에서는 작동하기가 어려움
• 이는 Background Noise 때문
• 외부 요인으로 인하여 Camera Motion 이 일어날 수 있으며 동작 특징을 잘 추출하기 위해서는 카메라 움직임을 모델링하고 보정하는 것이 필요
• illumination condition, viewpoint change, dynamic background 등의 문제로 인해 어려움 

 

Insufficient Annotated Data

• HMDB51 및 UCF-101 과 같은 데이터는 수 천개의 비디오가 포함되어 있지만 수 백만개의 매개 변수를 사용하여 딥러닝 모델을 학습 시키기에는 충분치 않음
• Youtube-8M 및 Sports-1M 데이터 세트는 수 백만개의 행동 비디오를 제공하지만 행동 라벨이 검색에 의해 생성되었기 때문에 신뢰성이 떨어짐
• 이러한 데이터들은 행동 인식의 성능을 저하시킴
• 따라서 레이블이 존재하는 데이터와 레이블이 존재하지 않는 데이터 모두에서 행동을 인식할 수 있도록 모델을 설계하는 것이 중요함

 

 

 

 

Paper 

• Kong, Yu, and Yun Fu. "Human action recognition and prediction: A survey." arXiv preprint arXiv:1806.11230 (2018).

Link

• arxiv.org/abs/1806.11230

Human Action Recognition and Prediction: A Survey