[Pose Estimation] Lifting from the Deep: Convolutional 3D Pose Estimation from a Single Image, CVPR 2017

컨볼루션 네트워크를 이용한 3차원 인간 자세 추정 (텐서플로우를 이용한 구현) 자료이다. 

Convolutional Pose Machine을 이용하여 3차원 좌표상에 인간의 자세를 추정하는 과정이다.

소스코드는 깃에 공개되어있다. 

깃 : https://github.com/DenisTome/Lifting-from-the-Deep-release

프로젝트 페이지 : http://www0.cs.ucl.ac.uk/staff/D.Tome/papers/LiftingFromTheDeep.html

Abstract 

We propose a unified formulation for the problem of 3D human pose estimation from a single raw RGB image that reasons jointly about 2D joint estimation and 3D pose reconstruction to improve both tasks. We take an integrated approach that fuses probabilistic knowledge of 3D human pose with a multi-stage CNN architecture and uses the knowledge of plausible 3D landmark locations to refine the search for better 2D locations. The entire process is trained end-to-end, is extremely efficient and obtains stateof-the-art results on Human3.6M outperforming previous approaches both on 2D and 3D errors.

우리는 두 가지 작업을 향상시키기 위해 2D 조인트 추정과 3D 포즈 재구성에 대해 공동으로 원인을 제시하는 단일 원시 RGB 이미지에서 3D 인간 포즈 추정 문제에 대한 통일 된 공식을 제안합니다. 우리는 3D 인간의 포즈에 대한 확률적 지식을 다단계 CNN 아키텍처와 융합하고 그럴듯한 3D 랜드 마크 위치에 대한 지식을 사용하여 더 나은 2D 위치 탐색을 개선하는 통합적인 접근 방식을 취합니다. 전체 프로세스는 엔드 투 엔드 (end-to-end) 훈련을 받았으며, 매우 효율적이며 Human3.6M의 최첨단 결과를 통해 2D 및 3D 오류에 대한 이전의 접근법을 능가합니다.