[Pose Estimation] PoseTrack Dataset

 

 

Introduction

Pose Estimation 분야에서 가장 유명한 데이터 세트인 COCO, MPII 등에 이어 PoseTrack 이라는 데이터세트가 나왔다. 

PoseTrack 데이터 세트는 기존의 MPII Human Pose 데이터 세트가 포함되어 있다. 

 

인간 포즈 추정 및 비디오 환경에서의 관절을 추적하기 위한 벤치마크를 담고 있다. 

이 데이터 세트는 "Multi-Person Pose Estimation" 또는 "Multi-Person Pose Tracking" 에서 활용 할 수 있다.

 

• 1356 video sequences
• 46K annotated video frames
• 276K body pose annotations

 

 

Annotaion

또한 비디오 시퀀스에는 다음과 같은 정보들이 포함되어있다.

각 사람에 대한 head bounding box, Tracking ID 가 표시되어있다.

(참고로, 이 head bounding box 는 평가에서 절대적인 척도가 된다. )

 

• Location
• Identities
• Body pose
• Ignore regions (주석을 달기 어려운 사람들을 식별할 수 있도록 표시)

 

그리고 포즈에서 제일 중요한 키포인트는 VATIC Tool을 이용하여 annotation 하였고, 목록은 다음과 같다. 

 

• Head
• Nose
• Neck
• Shoulders
• Elbows
• Wrists
• Hips
• Knees
• Ankles

다음 그림은 annotation 예시 이다. 

 

 

annotaion 정보는 다음과 같다. 

{
   "annolist": [
       {
	   "image": [
	       {
		  "name": "images\/bonn_5sec\/000342_mpii\/00000001.jpg"
	       }
           ],
           "annorect": [
	       {
	           "x1": [625],
		   "y1": [94],
		   "x2": [681],
		   "y2": [178],
		   "score": [0.9],
		   "track_id": [0],
		   "annopoints": [
		       {
			   "point": [
			       {
			           "id": [0],
				   "x": [394],
				   "y": [173],
				   "score": [0.7],
			       },
			       { ... }
			   ]
		       }
		   ]
		},
		{ ... }
	   ],
       },
       { ... }
   ]
}

 

 

 

 

 

Evalutation 

Evaluation Tool 도 제공하고 있다.

https://github.com/leonid-pishchulin/poseval

leonid-pishchulin/poseval

평가 지표는 신체 부위가 정확하게 예측되는지의 여부를 평가하기 위해

PCKh(head-normalized probability of correct keypoint) 를 사용한다.

관절의 예상 위치가 실제 위체에서 특정 임계값 내에 있으면 신체 위치가 올바르게 추정된 것으로 간주된다.

 

전체 비디오 프레임 내에서 사람들의 Scale 변화가 자주 일어나기 때문에

이 임계값은 사람의 크기에 따라 적응적으로 선택되어야 한다.

이를 위해 Head 의 길이가 GT(Ground Truth) Bounding box 대각선 길이의 60% 에 해당하는 경우,

머리의 길이를 50%로 사용한다.

 

각 사람에 대한 Joint Localization Threshold (임계값)이 주어지면 두 사람의 평가 메트릭을 계산한다.

하나는 다중 인간 자세 추정에 사용되고, 다른 하나는 다중 대상 추적에서 계산된다. 

 

Multi-person Pose Estimation

프레임 단위의 다중 인간 자세 추정 정확도를 측정하기 위해 MAP(Mean Average Precision) 지표를 사용한다.

 

Articulated multi-person Pose Tracking

관절로 연결된 다중 인간 자세 추적을 평가하기 위해서는 MOT(Multiple Object Tracking) 지표를 사용한다.

이에는 MOTA(Multiple Object Tracker Accuracy), MOTP(Multiple Object Tracker Precision) Precision, Recall 등이 포함된다. 

 

 

 

 

 

 

 

 

 

 

 

참고자료 1 : PoseTrack Dataset

https://posetrack.net/

PoseTrack

참고자료 2 : PoseTrack : A Benchmark for Human Pose Estimation and Track

https://arxiv.org/pdf/1710.10000.pdf

불러오는 중입니다...

참고자료 3 

https://medium.com/@anuj_shah/posetrack-data-set-summary-9cf61fc6f44e

Posetrack Data set: Summary