SMPL-X 모델은 기존 SMPL 모델(손이나 얼굴에 대한 detail이 떨어지는)에서 확장된 모델이다. 대량의 3D scan data로부터 얼굴과 손까지 포함한 새로운 body model을 구성하였다. 즉, 3가지 모델을 통합하였다. SMPL 모델 + FLAME(head model) + MANO(hand model) 더 내추럴한 결과를 볼 수 있다. joint names 목록은 다음 github에서 볼 수 있다. https://github.com/vchoutas/smplx/blob/main/smplx/joint_names.py SMPL-X 논문은 아래와 같다. https://arxiv.org/abs/1904.05866 Expressive Body Capture: 3D Hands, Face, and Bo..
Project page : https://motion-x-dataset.github.io/ Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset We propose Motion-X, a large-scale 3D expressive whole-body motion dataset. Existing motion datasets predominantly contain body-only poses, lacking facial expressions, hand gestures, and fine-grained pose descriptions. Moreover, they are primarily collecte motion-x-dataset.git..
https://github.com/isarandi/poseviz GitHub - isarandi/poseviz: 3D Human Pose Visualizer for Python 3D Human Pose Visualizer for Python. Contribute to isarandi/poseviz development by creating an account on GitHub. github.com
이번에 리뷰할 논문은 "Learning Visibility for Robust Dense Human Body Estimation" 입니다. 본 논문에서는 human joint에 대해 visible 정보를 x, y, z 축에 대해 명시적으로 모델링 했습니다. x, y 축의 visible 정보는 frame 밖에 있는 경우를 구별하는데 도움이 되며, z 축의 visible 정보는 self-occlusion 또는 occlusions by other object을 구별하는데 도움이 됩니다. 본 논문에서는 이러한 정보를 이용하여 3d heatmap을 예측합니다. dense heatmap -based representation은 image domain에서 spatial-relationship을 보존하고, uncert..
Project page : https://maoxie.github.io/SynBody/ SynBody: Synthetic Dataset with Layered Human Models for 3D Human Perception and Modeling Abstract Synthetic data has emerged as a promising source for 3D human research as it offers low-cost access to large-scale human datasets. To advance the diversity and annotation quality of human models, we introduce a new synthetic dataset, Synbody, with ma..
Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Huang_Capturing_and_Inferring_Dense_Full-Body_Human-Scene_Contact_CVPR_2022_paper.pdf 이번에 읽을 논문은 "Capturing and Inferring Dense Full-Body Human-Scene Contact" 입니다. RICH dataset을 생성하였는데요, 이 데이터의 novelty는 3D scene scan을 통해 human-scene contact를 정확하게 라벨링했다는 것입니다. 아래 그림에서 녹색 부분에 표시되어있습니다. 참고로 이런 분야를 human-scene contact(HSC) 라고 하는데 이는 사람이 주..
Paper : https://bedlam.is.tuebingen.mpg.de/media/upload/BEDLAM_CVPR2023.pdf Project page : https://bedlam.is.tue.mpg.de/ BEDLAM bedlam.is.tue.mpg.de GitHub : https://github.com/pixelite1201/BEDLAM GitHub - pixelite1201/BEDLAM Contribute to pixelite1201/BEDLAM development by creating an account on GitHub. github.com 이번에 리뷰할 논문은 GitHub에 약 3일전에 업로드된 CVPR 2023에 소개 될 논문 "BEDLAM: A Synthetic Dataset o..
Paper : https://arxiv.org/abs/2203.01923 Recovering 3D Human Mesh from Monocular Images: A Survey Estimating human pose and shape from monocular images is a long-standing problem in computer vision. Since the release of statistical body models, 3D human mesh recovery has been drawing broader attention. With the same goal of obtaining well-aligned and p arxiv.org Project : https://github.com/tina..
연구를 하다보면 좋아하는 저자가 한 두명씩 생기곤 하는데, 그 중 하나가 Facebook AI Research 에서 일하고 계신, OpenPose 저자인 Hanbyul Joo 님이다. 2D, 3D Human Pose Estimation 부터 Hand Keypoint Detection, 3D Deformation Model, Tracking 분야까지 다양한 연구를 하고 계신 분이다. 많은 연구들 중에서 최근에 나온 연구는 아래 논문이다. Joo, Hanbyul, Natalia Neverova, and Andrea Vedaldi, "Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation", arXiv..
다양한 3차원 재구성(Reconstruction) 방법 중에서 3차원 주석이 달린 이미지에 의존적이지 않으면서 3차원 재구성을 수행할 수 있는 방법이 있다. SMPLify 와 같은 최적화 기반 방법은 파라메트릭 인간 모델(Parametric human models)에 의존하며, 몇가지 모델 매개 변수만 예측하면 된다. 이러한 방법들은 추정된 포즈가 2차원으로 투영 시키는데 일어나는 오차를 최소화 하는데만 신경을 쓰기 때문에 추정된 자세가 유효한지를 보장 할 수 없다. 실제로, output quality 는 초기화에 크게 의존하게 된다. 여기서 초기화란 2차원 자세에 body model 을 처음에 fit 하게 맞추는 작업을 의미하는 것 같다. 그렇기 때문에 비교적 까다로운 자세를 추정하지 못하는 문제점이 ..
3일 전에 나온 따끈 따끈한 논문을 소개한다. 3D Reconstruction / Modeling / Representation 분야와 밀접한 연관이 있다. Deep Structured Implicit Functions 라는 논문인데, 제안하는 DSIF(Deep Structural Implicit Functions) 알고리즘을 통해 표면을 정확하게 재구성하고, 효율적으로 계산하며, 다양한 모양의 범주를 일반화하고, Depth 카메라로부터 추론을 가능하게 하는 3차원 모양을 나타내고 학습할 수 있다고 한다. SOTA 인 OccNet 보다 10.3 정도 높은 성능을 제공하면서도 일관성 있게 각 입력에 대해 구조화된 3D 양상을 생성해낸다. 3D Shape Representation 분야는 표면의 재구성, 분..
Expressive Body Capture : 3D Hands, Face, and Body from a Single Image https://eehoeskrap.tistory.com/226?category=705415 [Pose Estimation] 3D Deformation Model Human Pose Estimation 분야에서 핫한 Convolutional Pose Machines 을 이용해서 연구중인데, 내가 시도하려고 했던, 아니 향후 시도할 예정이었던 내용의 연구가 이미 발표되었다. (따끈 따끈한 1월 5일에!) 대단.. eehoeskrap.tistory.com Total Capture : A 3D Deformation Model for Tracking Faces, Hands, and Bod..
