본 포스팅은 아래 유튜브를 보다가 Pose Refinement 와 관련된 논문을 알게 되어 자세 추정 결과를 정제하는 방법에 대해 정리해본다. 논문은 참고로 서울대 문경식님의 논문이다. Moon, Gyeongsik, Ju Yong Chang, and Kyoung Mu Lee. "Posefix: Model-agnostic general human pose refinement network." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. 나중에 적용해봐야겠따. 또한 참고로 유튜브 링크는 아래와 같으며, Human Pose Estimation 을 처음 접하는 사람들에게 도움이 될만한 좋은 자료이다. [A..

Groos, Daniel, Heri Ramampiaro, and Espen Ihlen. "EfficientPose: Scalable single-person pose estimation." arXiv preprint arXiv:2004.12186 (2020). Paper : arxiv.org/abs/2004.12186 EfficientPose: Scalable single-person pose estimation Human pose estimation facilitates markerless movement analysis in sports, as well as in clinical applications. Still, state-of-the-art models for human pose estimati..

Bulat, Adrian, et al. "Toward fast and accurate human pose estimation via soft-gated skip connections." arXiv preprint arXiv:2002.11098 (2020). Paper : arxiv.org/abs/2002.11098 Toward fast and accurate human pose estimation via soft-gated skip connections This paper is on highly accurate and highly efficient human pose estimation. Recent works based on Fully Convolutional Networks (FCNs) have de..

인간 행동 인식 분야에서 행동을 인식하는데 어려운 요인들은 다음과 같이 정리 할 수 있다. Intra- and inter-class Variations 사람들은 동일한 행동에 대해 다르게 행동함 예를 들어 “Running” 같은 의미론적 행동에 대해 어떤 사람은 빠르게 달리거나, 어떤 사람들은 느리게 달리거나, 점프하며 달릴 수 있음 즉, 하나의 행동 범주에는 다양한 스타일의 행동들이 포함될 수 있음 또한 동일한 행동을 다양한 시점에서 캡쳐 할 수 있음 (front, side, top, …) 이러한 appearance variation 으로 인하여 행동 인식이 힘듦 그리고 “Running” 및 “Walking” 은 유사한 동작 패턴을 내포하고 있으므로 이를 기계가 구별하기가 힘듦 Cluttered Bac..

Github : https://github.com/liruilong940607/OCHumanApi liruilong940607/OCHumanApi API for the dataset proposed in "Pose2Seg: Detection Free Human Instance Segmentation" @ CVPR2019. - liruilong940607/OCHumanApi github.com Project Page : http://www.liruilong.cn/projects/pose2seg/index.html Pose2Seg Pose2Seg: Detection Free Human Instance Segmentation Song-Hai Zhang 1, 2 Ruilong Li (first student a..

단일 이미지에서 3차원으로 사람의 자세를 재구성(Reconstruction) 하는 방법은 깊이(Depth) 정보를 고유하게 복구 시킬 수 없다는 문제를 가진다. 이러한 깊이 모호성(Depth ambiguity)을 극복하기 위하여 사전에 정의된 body shape 과 pose 정보들을 이용해야한다. 최적화(Optimization)기반 방법들은 SMPL(Skinned Multi-Person Linear model) 및 SCAPE(Shape Completion and Animation of People) 와 같은 3차원 바디 모델을 assume 하고 최적화 알고리즘을 사용하여 2차원 자세들을 맞춘다. 초기 접근 방식에는 수동으로 입력을 주었지만, SMPLify 연구 부터 프로세스가 완전히 자동화 된 다음, "..

영상감시(Video Surveillance) 분야에서는 CCTV 영상에서 사람의 비정상적인 행위를 탐지하거나, 사물의 비정상 상황을 인식하는 일이 중요하다. 예를 들어, 고속도로에서 차량 전복 사고가 일어나거나, 어린이 보호구역 보행로에 자전거 및 차량 출현 또는 지하철역에서 싸움 등이 발생하는 비정상(Abnomal) 케이스들을 탐지하여 사고를 예방하거나, 사고에 대한 적절한 대응을 해야한다. 이상 탐지(Anomaly Detection) 기술은 사실 오래전부터 연구되어왔던 분야이다. 이는 영상감시 분야 뿐만 아니라, 머신비전(Machine Vision) 분야에서 장비로부터 측정된 시계열 데이터를 기반으로 한 고장 예측, 제품 결함 검사 등 다양한 환경에 접목 될 수 있다. 1. 이상 탐지(Anomaly ..

person detection(object detection) + pose estimation + keypoint rescoring

COCO Keypoint 데이터 세트를 만들기 위해 아래와 같은 툴을 사용 할 수 있다. Supervisely Visipedia 1. Supervisely 회원 가입 후, 프로젝트를 생성하여 사진을 불러와 주석을 달 수 있다. 먼저 박스를 쳤을 때 포즈 모델이 어떻게 구성될건지 정의해주는 작업이 필요하다. 웹 기반으로 되어있으며, 포즈모델 이외에도 다양한 라벨링 작업을 수행 할 수 있다. 깃허브 https://github.com/supervisely/supervisely supervisely/supervisely AI for everyone! :tada: Neural networks, tools and a library we use in Supervisely - supervisely/supervisely..

Pose Estimaiton 분야에서 Occlusion(폐색) 문제를 해결 해 볼 수 있는 흥미로운 주제를 발견하였다. MIT에서 연구중인 RF-Pose 인데, 이는 벽에 의해 사람이 가려지는 현상이 일어나더라도 정확하게 자세를 추정 할 수 있다. WiFi 주파수의 무선 신호가 벽을 통과하면서 인체에 반사되는 기술을 이용한 방법이다. 비전 기반 기술 만큼 정확하다고 말하고 있다. 같은 시간에 발생한 Vertical Heatmap 과 Horizontal Heatmap 을 결합한 RF Heatmap 정보를 이용하는데, 이는 폐색 현상을 해결 할 뿐만 아니라 어두운 공간에서 까지 정확하게 인간의 자세를 추정해낼 수 있다. 또 흥미로운 것은 일반적으로 자세 추정 분야에서의 평가 측정은 PCKh 와 OKS 를 이..

Fall Down 관련 논문 UP-Fall Detection Dataset: A Multimodal Approach https://www.mdpi.com/1424-8220/19/9/1988 UP-Fall Detection Dataset: A Multimodal Approach Falls, especially in elderly persons, are an important health problem worldwide. Reliable fall detection systems can mitigate negative consequences of falls. Among the important challenges and issues reported in literature is the difficulty of..

wrnchAI 의 포즈 추정 시스템과 OpenPose를 비교하였다. wrnchAI는 비디오로부터 인간의 모션과 행위를 분석하기 위한 Real-time 용 AI 소프트웨어 플랫폼 기업이다. 그 중 pose 를 추정하는 기술을 비교하였다. 홈페이지에서 보면 쏠쏠한 자료들이 많이 있다. https://wrnch.ai/technology/ wrnch - Artificial Intelligence For Real World Applications From making our world a safer place to staying healthier and having more fun, wrnchAI is changing how we interact with the world. Browse our enabled fe..