[Action Recognition] 싸움 탐지(Fight Detection = 2D Pose Estimation + RNN Action Recognition)

 

 

위 Github에 나와있는 프로젝트는 2차원 인간 자세 추정(OpenPose)과 RNN 기반 행동 인식 기술을 이용하여 싸움을 감지한 프로젝트이다. 이 때 SORT 알고리즘을 이용하여 Tracking ID를 생성하여 개인별로 시계열 데이터(time series data)를 얻어와서 Queue Container에 의해 32 frame 씩 처리한다. 

 

RNN에 넣을 때 Feature 로는  Angle, ΔAngle, ΔPoint 를 사용한다. 그리고 주요 키포인트들만 입력으로 사용한다. (눈코입 제외)

 

그리고 동작 방식은 클라우드 컴퓨팅에서 Darknet 을 사용하기 위해 Darknet Server 를 구축하고, 비디오 또는 웹캠 스트림을 서버로 보내고 서버에서 실시간으로 결과를 얻어오는 형태로 동작한다. 서버와 클라이언트는 ZeroMQ 메시지 라이브러리를 기반으로 통신한다. 클라이언트는 OpenCV를 사용하여 비디오 또는 웹캠에서 프레임을 읽고 json 메세지 형식으로 서버에 보낸다. 서버는 메세지를 받고 작업을 수행한다. 그 다음 객체 탐지 또는 자세 추정 결과를 json 메세지 형식으로 클라이언트로 다시 보낸다. 

 

 

 

 

 

Object Detection

 

 

 

 

2D Pose Estimation

 

 

 

 

 

 

 

 

 

 

Fight Detection

 

CCTV 환경에서도 잘 되는 듯 하다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

참고자료 1 : github.com/imsoo/darknet_server

imsoo/darknet_server

 

참고자료 2 : github.com/imsoo/fight_detection

imsoo/fight_detection