반응형

AI Research Topic/Pose Estimation 27

[Pose Estimation] NVIDIA TLT의 BodyPoseNet

NVIDIA Transfer Learning Toolkit(이하 TLT)에서 "BodyPoseNet" 과 함께 COCO 데이터를 사용하여 2D Pose Estimation 모델을 학습하고 INT8 등으로 최적화하는 방법에 대해 다루었다. 이는 기존 오픈 소스인 OpenPose 보다 AP가 8% 정도 떨어지지만 속도면에서는 아주 월등히 우수함을 보여준다. NVIDIA TLT에서 제공하는 BodyPoseNet은 VGG와 같은 백본 네트워크를 이용하여 confidence map 및 PAF를 이용하여 픽셀 단위 예측을 수행한 후 multi stage refinement (0 ~ N stages)로 구성된 구조를 사용하는 fully connected convolution 모델이며, 18개의 키포인트들을 예측한다...

[Pose Estimation] 자세를 분류하는 방법

아래 글은 Google 에서 나온 모바일용 ML Kit 의 한 부분인 자세 추정(Pose Estimation)을 이용하여 자세를 분류하는 방법에 관한 것이다. 자세를 분류하는 방법은 딥러닝을 이용하여 어떤 자세인지 분류하는 방법(e.g. CNN을 이용한 자세 분류)과 기계학습 알고리즘 중 하나인 SVM(Support Vector Machine)을 이용하여 자세를 분류하는 방법, 그리고 아래 Google에서 제시해 놓은 각도를 이용하여 자세를 분류하는 방법이 있다. 사실 필자가 생각하기에 가장 좋은 방법은 CNN을 이용하여 스켈레톤을 분류하거나, SVM으로 분류하는 것이 정확도 측면에서 좋다고 생각한다. 하지만 아래와 같이 간단하게 구현해 볼 수 있는 방법도 존재하기 때문에 이를 다뤄보고자 한다. 구글에서..

[Pose Estimation] 3D human pose estimation in video with temporal convolutions and semi-supervised training

이 논문은 Facebook AI Research 에서 나온 논문이며, CVPR 2019에 채택되었다. 3D Human Pose Estimation 분야를 찾아보다가 알게된 논문인데, 현존하는 SOTA 2D Pose Estimation 방법들과 잘 결합하면 비디오 환경에서 좋은 결과를 얻을 수 있을 것으로 예상된다. 관건은 정확도 높은 2D Pose Estimation 이다. 위 gif 들은 아마 2D Pose GT를 이용했기 때문에 3D Pose 가 매우 자연스러워 보인다. Paper : arxiv.org/pdf/1811.11742.pdf Github : github.com/facebookresearch/VideoPose3D facebookresearch/VideoPose3D Efficient 3D hu..

[Pose Estimation] 자세 추정 결과를 정제 하는 방법 (PoseFix : Model-agnostic General Human Pose Refinement Network)

본 포스팅은 아래 유튜브를 보다가 Pose Refinement 와 관련된 논문을 알게 되어 자세 추정 결과를 정제하는 방법에 대해 정리해본다. 논문은 참고로 서울대 문경식님의 논문이다. Moon, Gyeongsik, Ju Yong Chang, and Kyoung Mu Lee. "Posefix: Model-agnostic general human pose refinement network." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. 나중에 적용해봐야겠따. 또한 참고로 유튜브 링크는 아래와 같으며, Human Pose Estimation 을 처음 접하는 사람들에게 도움이 될만한 좋은 자료이다. [A..

[Pose Estimation] EfficientPose : Scalable single-person pose estimation

Groos, Daniel, Heri Ramampiaro, and Espen Ihlen. "EfficientPose: Scalable single-person pose estimation." arXiv preprint arXiv:2004.12186 (2020). Paper : arxiv.org/abs/2004.12186 EfficientPose: Scalable single-person pose estimation Human pose estimation facilitates markerless movement analysis in sports, as well as in clinical applications. Still, state-of-the-art models for human pose estimati..

[Pose Estimation] OCHuman(Occluded Human) Dataset API

Github : https://github.com/liruilong940607/OCHumanApi liruilong940607/OCHumanApi API for the dataset proposed in "Pose2Seg: Detection Free Human Instance Segmentation" @ CVPR2019. - liruilong940607/OCHumanApi github.com Project Page : http://www.liruilong.cn/projects/pose2seg/index.html Pose2Seg Pose2Seg: Detection Free Human Instance Segmentation Song-Hai Zhang 1, 2 Ruilong Li (first student a..

[Pose Estimation] Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation

연구를 하다보면 좋아하는 저자가 한 두명씩 생기곤 하는데, 그 중 하나가 Facebook AI Research 에서 일하고 계신, OpenPose 저자인 Hanbyul Joo 님이다. 2D, 3D Human Pose Estimation 부터 Hand Keypoint Detection, 3D Deformation Model, Tracking 분야까지 다양한 연구를 하고 계신 분이다. 많은 연구들 중에서 최근에 나온 연구는 아래 논문이다. Joo, Hanbyul, Natalia Neverova, and Andrea Vedaldi, "Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation", arXiv..

[Pose Estimation] 단일 이미지에서 3차원 자세를 추정하는 방법 및 문제점

단일 이미지에서 3차원으로 사람의 자세를 재구성(Reconstruction) 하는 방법은 깊이(Depth) 정보를 고유하게 복구 시킬 수 없다는 문제를 가진다. 이러한 깊이 모호성(Depth ambiguity)을 극복하기 위하여 사전에 정의된 body shape 과 pose 정보들을 이용해야한다. 최적화(Optimization)기반 방법들은 SMPL(Skinned Multi-Person Linear model) 및 SCAPE(Shape Completion and Animation of People) 와 같은 3차원 바디 모델을 assume 하고 최적화 알고리즘을 사용하여 2차원 자세들을 맞춘다. 초기 접근 방식에는 수동으로 입력을 주었지만, SMPLify 연구 부터 프로세스가 완전히 자동화 된 다음, "..

[Pose Estimation] SMPL eXpressive

Expressive Body Capture : 3D Hands, Face, and Body from a Single Image https://eehoeskrap.tistory.com/226?category=705415 [Pose Estimation] 3D Deformation Model Human Pose Estimation 분야에서 핫한 Convolutional Pose Machines 을 이용해서 연구중인데, 내가 시도하려고 했던, 아니 향후 시도할 예정이었던 내용의 연구가 이미 발표되었다. (따끈 따끈한 1월 5일에!) 대단.. eehoeskrap.tistory.com Total Capture : A 3D Deformation Model for Tracking Faces, Hands, and Bod..

[Pose Estimation] COCO Dataset Annotation Tool

COCO Keypoint 데이터 세트를 만들기 위해 아래와 같은 툴을 사용 할 수 있다. Supervisely Visipedia 1. Supervisely 회원 가입 후, 프로젝트를 생성하여 사진을 불러와 주석을 달 수 있다. 먼저 박스를 쳤을 때 포즈 모델이 어떻게 구성될건지 정의해주는 작업이 필요하다. 웹 기반으로 되어있으며, 포즈모델 이외에도 다양한 라벨링 작업을 수행 할 수 있다. 깃허브 https://github.com/supervisely/supervisely supervisely/supervisely AI for everyone! :tada: Neural networks, tools and a library we use in Supervisely - supervisely/supervisely..

[Pose Estimation] Through-Wall Human Pose Estimation Using Radio Signals

Pose Estimaiton 분야에서 Occlusion(폐색) 문제를 해결 해 볼 수 있는 흥미로운 주제를 발견하였다. MIT에서 연구중인 RF-Pose 인데, 이는 벽에 의해 사람이 가려지는 현상이 일어나더라도 정확하게 자세를 추정 할 수 있다. WiFi 주파수의 무선 신호가 벽을 통과하면서 인체에 반사되는 기술을 이용한 방법이다. 비전 기반 기술 만큼 정확하다고 말하고 있다. 같은 시간에 발생한 Vertical Heatmap 과 Horizontal Heatmap 을 결합한 RF Heatmap 정보를 이용하는데, 이는 폐색 현상을 해결 할 뿐만 아니라 어두운 공간에서 까지 정확하게 인간의 자세를 추정해낼 수 있다. 또 흥미로운 것은 일반적으로 자세 추정 분야에서의 평가 측정은 PCKh 와 OKS 를 이..

[Pose Estimation] wrnchAI vs OpenPose

wrnchAI 의 포즈 추정 시스템과 OpenPose를 비교하였다. wrnchAI는 비디오로부터 인간의 모션과 행위를 분석하기 위한 Real-time 용 AI 소프트웨어 플랫폼 기업이다. 그 중 pose 를 추정하는 기술을 비교하였다. 홈페이지에서 보면 쏠쏠한 자료들이 많이 있다. https://wrnch.ai/technology/ wrnch - Artificial Intelligence For Real World Applications From making our world a safer place to staying healthier and having more fun, wrnchAI is changing how we interact with the world. Browse our enabled fe..

[Pose Estimation] PoseTrack Dataset

Introduction Pose Estimation 분야에서 가장 유명한 데이터 세트인 COCO, MPII 등에 이어 PoseTrack 이라는 데이터세트가 나왔다. PoseTrack 데이터 세트는 기존의 MPII Human Pose 데이터 세트가 포함되어 있다. 인간 포즈 추정 및 비디오 환경에서의 관절을 추적하기 위한 벤치마크를 담고 있다. 이 데이터 세트는 "Multi-Person Pose Estimation" 또는 "Multi-Person Pose Tracking" 에서 활용 할 수 있다. 1356 video sequences 46K annotated video frames 276K body pose annotations Annotaion 또한 비디오 시퀀스에는 다음과 같은 정보들이 포함되어있다. ..

[Pose Estimation] Upper Body Pose Dataset

VGG Human Pose Estimation Datasets : human upper-body pose dataset 총 5개의 데이터세트로 구성되어있다. YouTube Pose BBC Pose Extended BBC Pose Short BBC Pose ChaLearn Pose https://www.robots.ox.ac.uk/~vgg/data/pose/index.html VGG Pose Datasets YouTube Pose [1] The YouTube Pose dataset is a collection of 50 YouTube videos for human upper body pose estimation. It consists of 50 videos found on YouTube covering a..

728x90
반응형