Paper : https://arxiv.org/pdf/2310.17768.pdf Project Page: https://mks0601.github.io/ReInterHand/ Re:InterHand Dataset A Dataset of Relighted 3D Interacting Hands (NeurIPS 2023 Datasets and Benchmarks Track) mks0601.github.io Meta Reality Labs Research 에서 나온 데이터세트 Re:InterHand 데이터이다. 두 손이 상호작용 하는 문제는 self-similarity, complicated articulations, and occlusions of hands 문제 때문에 가장 분석하기 어려운 task 중 하나..

Paper : https://arxiv.org/abs/2307.15880 Effective Whole-body Pose Estimation with Two-stages Distillation Whole-body pose estimation localizes the human body, hand, face, and foot keypoints in an image. This task is challenging due to multi-scale body parts, fine-grained localization for low-resolution regions, and data scarcity. Meanwhile, applying a highly e arxiv.org GitHub : https://github...

이번에 읽게된 논문은 CVPR 2021에 소개된 MobileHumanPose: Toward real-time 3D human pose estimation in mobile devices 입니다. 참고로 카이스트에서 게재한 논문이며, 3D Human Pose Estimation 모델을 Mobile Device에서 작동 될 수 있도록 경량화 한 논문입니다. Contribution 본 논문에서의 주요 Contribution은 아래와 같습니다. 기존 3D HPE 방법들이 높은 computing cost + 정확도에 초점을 맞췄던 것에 비해 본 논문에서는 모바일 기반 모델 효율성을 다룸 MobileNet v2 수정, parametric activation function, Skip concatenation (U-..

GitHub : https://github.com/zhezh/occlusion_person GitHub - zhezh/occlusion_person: A dataset for multiview 3D human pose estimation with detailed occlusion labels, powered by Unr A dataset for multiview 3D human pose estimation with detailed occlusion labels, powered by UnrealCV - GitHub - zhezh/occlusion_person: A dataset for multiview 3D human pose estimation with detaile... github.com Paper ..

Paper : https://arxiv.org/pdf/2303.07399v1.pdf GitHub : https://github.com/open-mmlab/mmpose/tree/1.x/projects/rtmpose GitHub - open-mmlab/mmpose: OpenMMLab Pose Estimation Toolbox and Benchmark. OpenMMLab Pose Estimation Toolbox and Benchmark. Contribute to open-mmlab/mmpose development by creating an account on GitHub. github.com 오늘 리뷰할 논문은 Shanghai AI Lab에서 소개한 "RTMPose: Real-Time Multi-Perso..

Paper : https://www.researchgate.net/publication/368336170_Keypoint-wise_Adaptive_Loss_for_Whole-Body_Human_Pose_Estimation Introduction 오늘 읽어볼 논문은 AAAI 2023에 소개될 Keypoint-wise Adaptive Loss for Whole-Body Human Pose Estimation 라는 논문입니다. NHN Cloud 분들이 논문을 냈네요. 아직 코드는 공개가 안된 듯 합니다. 이 논문은 dense 및 coarse keypoints의 mixed characteristic을 분석하여 whole-body human pose estimation을 수행합니다. whole body를 추정하는..

Paper : https://arxiv.org/abs/2107.03332 GitHub : https://github.com/leeyegy/SimCC GitHub - leeyegy/SimCC: [ECCV'2022 Oral] PyTorch implementation for: SimCC: a Simple Coordinate Classification Perspective for H [ECCV'2022 Oral] PyTorch implementation for: SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation (http://arxiv.org/abs/2107.03332). Old name: SimDR - GitHub -..

Paper : https://openaccess.thecvf.com/content/CVPR2022W/ECV/papers/Maji_YOLO-Pose_Enhancing_YOLO_for_Multi_Person_Pose_Estimation_Using_Object_CVPRW_2022_paper.pdf GitHub : https://github.com/TexasInstruments/edgeai-yolov5/tree/yolo-pose GitHub - TexasInstruments/edgeai-yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to TexasInstrumen..

humanpose estimation 연구 분야에서 접근 방식을 주로 top-down, bottom-up 방법으로 나누곤 하는데요, 이외에도 주목해야할 방식이 있습니다. 바로 one-shot approach 입니다. (CenterAttention 논문에서 나온 표현) one-shot 방법은 bottom-up 기반 방식에서 조금 더 업그레이드 된 버전이라고 보시면 되는데요, 일반적으로 각 root node의 위치를 regression 한 다음 keypoint 위치에 대한 offset을 예측하는 것입니다. 이를 pixel-wise regression이라고도 합니다. 최적화 과정이 필요한 그룹화 과정이 필요없기 때문에 훨씬 inference time이 빠릅니다. 그러나 occlusion 및 scale 변동성에..

Paper : https://arxiv.org/abs/2110.05132 The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation We introduce CenterGroup, an attention-based framework to estimate human poses from a set of identity-agnostic keypoints and person center predictions in an image. Our approach uses a transformer to obtain context-aware embeddings for all detected keypoint arx..

Multi-person Pose Estimation은 아래 그림과 같이 이미지 상에 나타난 여러 사람들에 대한 keypoint 연결 관계를 추론해내는 것입니다. Multi-person Pose Estimation이 어려운 이유는 아래와 같습니다. 1. 여러명의 사람이 다양한 scale과 position에서 등장하는 문제 2. 사람들의 activity 및 interaction 으로 인해 complex pose를 유발됨 3. 여러 사람들의 body part articulation 및 occlusion로 인해 어려움 Top-down multi-people pose estimation 각 사람을 먼저 검출한 다음 검출된 이미지 패치에서 각 사람의 자세를 독립적으로 추정하는 전략입니다. 이러한 접근 방식의 장점은..

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_Contextual_Instance_Decoupling_for_Robust_Multi-Person_Pose_Estimation_CVPR_2022_paper.pdf GitHub : https://github.com/kennethwdk/CID