[Pose Estimation] OCHuman(Occluded Human) Dataset API

 

Github : https://github.com/liruilong940607/OCHumanApi

liruilong940607/OCHumanApi

Project Page : http://www.liruilong.cn/projects/pose2seg/index.html

Pose2Seg

Paper : https://arxiv.org/pdf/1803.10683.pdf

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Human Pose Estimation 분야에서 가장 어려운 문제는 폐색(Occlusion) 현상이다. 사람이 사람에 의해 가려지거나, 다른 객체에 의해 가려질 수 있는 폐색 현상이 일어나면, 올바른 Keypoint 를 추정하는 것이 어려워지기 때문에 각 Keypoint 에 대하여 낮은 Confidence 값을 얻게 된다. OpenPose 와 같이 Part Affinity Field 기반의 Bottom-up 방식도 그렇고, 다른 Top-down 방식들도 추정하고자 하는 Keypoint 가 가려지게 되면 올바른 추정이 어려워진다. 

 

또한 현존하는 데이터 세트(COCO, MPII 등)들은 이러한 Occulusion 을 고려하여 만들어진 데이터 세트가 아니기 때문에 이러한 데이터 측면에서도 한계점을 가진다. 고려해봤자 한들 COCO에서 해당하는 Keypoint 가 이미지에 존재하는지, 존재하는지 또는 키포인트가 다른 객체에 의해 가려졌는지 정도의 "Keypoint" 단위 정보 이기 때문에 객체가 얼마나 가려졌는지에 대한 정보가 부족하다는 한계점을 가진다. 

 

 

if visibility == 0 that keypoint not in the image.
if visibility == 1 that keypoint is in the image BUT not visible namely maybe behind of an object.
if visibility == 2 that keypoint looks clearly. not hidden.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

이러한 문제를 해결하기 위해서 Occluded Human Dataset API 가 등장했다. (왜 진작 안나왔는지 의문)

 

 

이 데이터 세트는 Bounding Box, Human Pose 및 Instance Mask 를 포함한 주석들로, 심히 가려진 객체(인간)을 중심으로 만들어졌다. 모든 데이터는 다른 객체에 가려진 데이터 세트들로 이루어져 있으며, OC(0.75) 를 넘는 데이터 들은 32% 정도라고 한다.

 

이 데이터 세트에는 5081 개 이미지 내에 정교하게 주석이 달린 13360 개의 인간 인스턴스가 포함되어 있으며, 각 인간 마다 평균 0.573 MaxIoU를 사용한다. 

 

 

 

 

 

 

 

 

 

 

 

 

이 데이터 세트를 이용한 관련 연구는 아래와 같다. (추후 포스팅 예정)

 

Pose2Seg: Detection Free Human Instance Segmentation

 

 

 

 

앞으로 연구 추세가 Occulusion 문제에 강건한 Pose Estimation + Segmenatation 모델들이 등장 할 것 같다. 

 

 

 

 

 

 

 

 

 

 

 

참고자료 1 : https://github.com/liruilong940607/Pose2Seg

liruilong940607/Pose2Seg

참고자료 2 : https://github.com/liruilong940607/Pose2Seg

liruilong940607/Pose2Seg

참고자료 3 : https://towardsdatascience.com/cvpr-2019-pose2seg-detection-free-human-instance-segmentation-61e4948ba6db

[CVPR 2019] Pose2Seg: Detection Free Human Instance Segmentation