[3D HPS] Learning Visibility for Robust Dense Human Body Estimation

 

이번에 리뷰할 논문은 "Learning Visibility for Robust Dense Human Body Estimation" 입니다. 본 논문에서는 human joint에 대해 visible 정보를 x, y, z 축에 대해 명시적으로 모델링 했습니다. x, y 축의 visible 정보는 frame 밖에 있는 경우를 구별하는데 도움이 되며, z 축의 visible 정보는 self-occlusion 또는 occlusions by other object을 구별하는데 도움이 됩니다. 본 논문에서는 이러한 정보를 이용하여 3d heatmap을 예측합니다.

 

dense heatmap -based representation은 image domain에서 spatial-relationship을 보존하고, uncertainty of prediction을 보존할 수 있습니다. visible joint/vertics 의 위치를 파악하는데 효과적입니다. 하지만 x, y 축 heatmap은 image coordinate에서 정의되며, 프레임 외부에 나타나는 신체부위를 나타낼 수 없습니다. 또한 occlusion 같은 경우 ambiguty를 유발합니다. 그래서 어떤 joint가 보이는지 안보이는지 모른다면 모델 입장에서는 partial-body image에서 잘못된 출력을 생성하는 경향이 있습니다. 이를 해결하기 위해 본 논문에서는 VisDB(Visibility-aware Dense Body)를 제안합니다. 

 

 

 

제안하는 방법은 다음과 같습니다. 이미지가 주어지면 신경망에서는 x, y, z heatmap에 대한 feature를 추출합니다. 그 다음 x-truncation, y-truncation을 추출합니다. 그 다음 SMPL 모델을 예측합니다. 

 

 

정량평가 결과는 다음과 같습니다.