[Human Pose Estimation] A Dataset of Relighted 3D Interacting Hands

 

 

 

Paper : https://arxiv.org/pdf/2310.17768.pdf

Project Page: https://mks0601.github.io/ReInterHand/

Re:InterHand Dataset

 

Meta Reality Labs Research 에서 나온 데이터세트 Re:InterHand 데이터이다.

 

두 손이 상호작용 하는 문제는 self-similarity, complicated articulations, and occlusions of hands 문제 때문에 가장 분석하기 어려운 task 중 하나이다. 여태 나온 데이터세트들은 아래 두가지 요소를 동시에 충족하지 못해왔다. 

 

1) diverse and realistic image appearances

2) diverse and large-scale groundtruth (GT) 3D poses at the same time

 

그래서 본 논문에서는 두 가지 목표를 달성하기 위해  Re:InterHand, a dataset of relighted 3D interacting hands 를 제안한다. 또한 정확하게 두 손을 추적하는 a state-of-the-art hand relighting network를 제안한다. 아래 사진을 보면 다른 데이터세트와 달리 appearance diverse, appearance realistric, appearance close to ITW, GT 3D pose diverse 네가지 조건을 모두 충족해낸다. 여기서 ITW는 In-the-wild environment 을 뜻한다. 내가 볼땐 realistic과 In-the-wild environment 이 가장 까다로운 문제 같다. 

 

 

만들어진 결과를 보면 다음 연구가 기대된다. 

 

 

 

 

실험 결과는 다음과 같다.