[3D Reconstruction] 3차원 주석 데이터에 비의존적으로 3차원 모델을 재구성 하는 방법들

다양한 3차원 재구성(Reconstruction) 방법 중에서 3차원 주석이 달린 이미지에 의존적이지 않으면서 3차원 재구성을 수행할 수 있는 방법이 있다.

 

SMPLify 와 같은 최적화 기반 방법은 파라메트릭 인간 모델(Parametric human models)에 의존하며, 몇가지 모델 매개 변수만 예측하면 된다. 이러한 방법들은 추정된 포즈가 2차원으로 투영 시키는데 일어나는 오차를 최소화 하는데만 신경을 쓰기 때문에 추정된 자세가 유효한지를 보장 할 수 없다. 실제로, output quality 는 초기화에 크게 의존하게 된다. 여기서 초기화란 2차원 자세에 body model 을 처음에 fit 하게 맞추는 작업을 의미하는 것 같다. 

 

그렇기 때문에 비교적 까다로운 자세를 추정하지 못하는 문제점이 있다. 학습 시킬 때, 많은 수의 다양한 자세들로 이루어진 데이터 세트들을 이용하여 모델을 만들 수도 있지만, 이는 다른 자세들을 그럴듯하고, 올바르게 모델링 할 수 없다는 문제점을 가진다. 

 

3차원 주석이 달린 자세 데이터 없이도 2차원 자세 데이터 세트를 파라메트릭 3차원 모델 및 empirical 자세들과 결합하여 adversarial training 을 통해 회귀 신경망과 통합하여 여러 가지 3차원 자세들을 추정할 수 있는 모델을 만들 수 있다. 그러나 이러한 방법으로 얻은 예측 결과는 그럴듯하지만, 종종 2차원 자세 데이터에 높은 정확도로 fit 하지는 못한다는 문제가 있다고 한다. 

 

SPIN (SPIN: SMPL oPtimization IN the loop) 이라는 논문에서는 최적화 기반 방법으로 initial solution 을 개선하여 fitting 문제를 개선할 수 있다. 

 

SPIN: SMPL oPtimization IN the loop

 

SPIN: SMPL oPtimization IN the loop

 

SPIN Paper 

Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop :

https://arxiv.org/pdf/1909.12828.pdf

SPIN Project : https://www.seas.upenn.edu/~nkolot/projects/spin/

SPIN

SPIN Github : https://github.com/nkolot/SPIN

nkolot/SPIN

 

 

 

하지만 이러한 방법은 "Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation" 논문에 의하면, 다시 자세 추정 결과를 왜곡하여 더 이상 그럴듯하지 않은 솔루션으로 연결될 수 있다는 문제점을 지적했다.

 

 

Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation

https://arxiv.org/pdf/2004.03686.pdf