PoseGPT: Chatting about 3D Human Pose 오늘은 인간을 이해하기 위한 기술 중 하나인 PoseGPT에 관한 논문을 리뷰하며 드는 생각을 정리해보고자 합니다. PoseGPT는 Max Planck Institute for Intelligent Systems에서 제안한 논문이며, 2023년 11월 30일에 제안된 따끈따끈한 논문입니다. 🔥🚨🧑‍🚒 PoseGPT란 이미지나 텍스트 설명을 통해 3D 인간 포즈를 이해하고 추론하기 위해 LLM을 사용하는 프레임워크라고 할 수 있습니다. 현재까지 진행되어왔던 연구에서는 이미지 또는 텍스트 기반의 인간 자세 추정 문제들은 전체적인 장면을 이해하거나 세세한 추론이 부족해서 시각적 데이터와 실제 자세가 의미하는 바가 연결성이 부족했습니다. 예를..

SMPL-X 모델은 기존 SMPL 모델(손이나 얼굴에 대한 detail이 떨어지는)에서 확장된 모델이다. 대량의 3D scan data로부터 얼굴과 손까지 포함한 새로운 body model을 구성하였다. 즉, 3가지 모델을 통합하였다. SMPL 모델 + FLAME(head model) + MANO(hand model) 더 내추럴한 결과를 볼 수 있다. joint names 목록은 다음 github에서 볼 수 있다. https://github.com/vchoutas/smplx/blob/main/smplx/joint_names.py SMPL-X 논문은 아래와 같다. https://arxiv.org/abs/1904.05866 Expressive Body Capture: 3D Hands, Face, and Bo..

Project page : https://motion-x-dataset.github.io/ Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset We propose Motion-X, a large-scale 3D expressive whole-body motion dataset. Existing motion datasets predominantly contain body-only poses, lacking facial expressions, hand gestures, and fine-grained pose descriptions. Moreover, they are primarily collecte motion-x-dataset.git..

https://github.com/isarandi/poseviz GitHub - isarandi/poseviz: 3D Human Pose Visualizer for Python 3D Human Pose Visualizer for Python. Contribute to isarandi/poseviz development by creating an account on GitHub. github.com

이번에 리뷰할 논문은 "Learning Visibility for Robust Dense Human Body Estimation" 입니다. 본 논문에서는 human joint에 대해 visible 정보를 x, y, z 축에 대해 명시적으로 모델링 했습니다. x, y 축의 visible 정보는 frame 밖에 있는 경우를 구별하는데 도움이 되며, z 축의 visible 정보는 self-occlusion 또는 occlusions by other object을 구별하는데 도움이 됩니다. 본 논문에서는 이러한 정보를 이용하여 3d heatmap을 예측합니다. dense heatmap -based representation은 image domain에서 spatial-relationship을 보존하고, uncert..

Project page : https://maoxie.github.io/SynBody/ SynBody: Synthetic Dataset with Layered Human Models for 3D Human Perception and Modeling Abstract Synthetic data has emerged as a promising source for 3D human research as it offers low-cost access to large-scale human datasets. To advance the diversity and annotation quality of human models, we introduce a new synthetic dataset, Synbody, with ma..

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Huang_Capturing_and_Inferring_Dense_Full-Body_Human-Scene_Contact_CVPR_2022_paper.pdf 이번에 읽을 논문은 "Capturing and Inferring Dense Full-Body Human-Scene Contact" 입니다. RICH dataset을 생성하였는데요, 이 데이터의 novelty는 3D scene scan을 통해 human-scene contact를 정확하게 라벨링했다는 것입니다. 아래 그림에서 녹색 부분에 표시되어있습니다. 참고로 이런 분야를 human-scene contact(HSC) 라고 하는데 이는 사람이 주..

Paper : https://bedlam.is.tuebingen.mpg.de/media/upload/BEDLAM_CVPR2023.pdf Project page : https://bedlam.is.tue.mpg.de/ BEDLAM bedlam.is.tue.mpg.de GitHub : https://github.com/pixelite1201/BEDLAM GitHub - pixelite1201/BEDLAM Contribute to pixelite1201/BEDLAM development by creating an account on GitHub. github.com 이번에 리뷰할 논문은 GitHub에 약 3일전에 업로드된 CVPR 2023에 소개 될 논문 "BEDLAM: A Synthetic Dataset o..

Paper : https://arxiv.org/pdf/2204.13686.pdf Project page : https://caizhongang.github.io/projects/HuMMan/ HuMMan HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling Zhongang Cai* Daxuan Ren* Ailing Zeng* Zhengyu Lin* Tao Yu* Wenjia Wang* Xiangyu Fan Yang Gao Yifan Yu Liang Pan Fangzhou Hong Mingyuan Zhang Chen Change Loy Lei Yang^ Ziwei Liu^ Shang caizhongang.github.io 오늘 살펴..

Paper : https://arxiv.org/abs/2203.01923 Recovering 3D Human Mesh from Monocular Images: A Survey Estimating human pose and shape from monocular images is a long-standing problem in computer vision. Since the release of statistical body models, 3D human mesh recovery has been drawing broader attention. With the same goal of obtaining well-aligned and p arxiv.org Project : https://github.com/tina..

연구를 하다보면 좋아하는 저자가 한 두명씩 생기곤 하는데, 그 중 하나가 Facebook AI Research 에서 일하고 계신, OpenPose 저자인 Hanbyul Joo 님이다. 2D, 3D Human Pose Estimation 부터 Hand Keypoint Detection, 3D Deformation Model, Tracking 분야까지 다양한 연구를 하고 계신 분이다. 많은 연구들 중에서 최근에 나온 연구는 아래 논문이다. Joo, Hanbyul, Natalia Neverova, and Andrea Vedaldi, "Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation", arXiv..

다양한 3차원 재구성(Reconstruction) 방법 중에서 3차원 주석이 달린 이미지에 의존적이지 않으면서 3차원 재구성을 수행할 수 있는 방법이 있다. SMPLify 와 같은 최적화 기반 방법은 파라메트릭 인간 모델(Parametric human models)에 의존하며, 몇가지 모델 매개 변수만 예측하면 된다. 이러한 방법들은 추정된 포즈가 2차원으로 투영 시키는데 일어나는 오차를 최소화 하는데만 신경을 쓰기 때문에 추정된 자세가 유효한지를 보장 할 수 없다. 실제로, output quality 는 초기화에 크게 의존하게 된다. 여기서 초기화란 2차원 자세에 body model 을 처음에 fit 하게 맞추는 작업을 의미하는 것 같다. 그렇기 때문에 비교적 까다로운 자세를 추정하지 못하는 문제점이 ..