Enough is not enough

Introduction Pose Estimation 분야에서 가장 유명한 데이터 세트인 COCO, MPII 등에 이어 PoseTrack 이라는 데이터세트가 나왔다. PoseTrack 데이터 세트는 기존의 MPII Human Pose 데이터 세트가 포함되어 있다. 인간 포즈 추정 및 비디오 환경에서의 관절을 추적하기 위한 벤치마크를 담고 있다. 이 데이터 세트는 "Multi-Person Pose Estimation" 또는 "Multi-Person Pose Tracking" 에서 활용 할 수 있다. 1356 video sequences 46K annotated video frames 276K body pose annotations Annotaion 또한 비디오 시퀀스에는 다음과 같은 정보들이 포함되어있다. ..

VGG Human Pose Estimation Datasets : human upper-body pose dataset 총 5개의 데이터세트로 구성되어있다. YouTube Pose BBC Pose Extended BBC Pose Short BBC Pose ChaLearn Pose https://www.robots.ox.ac.uk/~vgg/data/pose/index.html VGG Pose Datasets YouTube Pose [1] The YouTube Pose dataset is a collection of 50 YouTube videos for human upper body pose estimation. It consists of 50 videos found on YouTube covering a..

"pose" 단어로 추출한 CVPR 2019 accepted papers 관련 분야 천천히 모두 정리할 예정 Pose2Seg: Detection Free Human Instance Segmentation Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering Self-Supervised Learning of 3D Human Pose using Multi-view Geometry FSA-Net: Learning Fine-Grained Structure Aggregation for Head Pose Estimation from a Single Image Does Learning Specific Features ..

https://paperswithcode.com/task/pose-estimation Papers With Code : Pose Estimation See leaderboards and papers with code for Pose Estimation paperswithcode.com 위 웹사이트에서 최신 Pose Estimation 에 관한 자료를 접할 수 있다. 본 포스팅은 위 자료에 근거하여 번역하고 정리한 글이다. Pose Estimation 컴퓨터 비전에서 객체의 위치(Position)와 방향(Orientation)을 탐지하는 일반적인 문제이다. 사람의 신체 관절인 키포인트(Keypoint)가 어떻게 구성되어있는지 위치를 측정(Localization)하고 추정(Estimation)하는 문제이다...

2018년 말 쯤 AlphaPose 라는 Real-Time 환경에서 Multi-Person Pose Estimation 및 Tracking 이 가능한 오픈 시스템이 발표되었다. 최근 (2019.04) 에는 MXNet 버전이 출시되었는데 이는 COCO validation set 기준으로 23 fps 를 달성한다고 한다. 23 fps 정도면 리얼타임 환경에서 적용 가능 할 수 있을 것으로 보인다. 이는 Pytorch 를 이용하여 작성되었으며 Linux 와 Windows를 모두 지원한다. 심지어 코드도 쓰레드로 구현되어있다. 아무튼 아마 이는 OpenPose의 뒤를 이을 자세 추정기가 되지 않을까 싶다. (내 생각) AlphaPose : Real-Time and Accurate Multi-Person Pose..

OpenPose 지난 2017년 발표되었던 CMU의 OpenPose 라이브러리에 이어, 깊이 정보까지 알 수 있는 DensePose 가 발표되었다. 인간 행위 인식, 인간 자세 추정과 같은 분야에 있어서 가장 최신 기술 동향이라고 할 수 있다. 인간의 관절부위인 Keypoint Detection 하는 문제부터 시작해서 그 point 들을 어떻게 연결할 것인지, 어떻게 관절 부위(joint or landmark)들을 산출할 것인지 문제를 푸는 것이 중요하다. OpenPose 는 Caffe, OpenCV 기반으로 이루어져 있고, 사람의 얼굴, 신체부위, 손가락을 추정한다. OpenPose 프로젝트 홈페이지 : https://github.com/CMU-Perceptual-Computing-Lab/openpos..

Human Pose Estimation 분야에서 핫한 Convolutional Pose Machines 을 이용해서 연구중인데, 내가 시도하려고 했던, 아니 향후 시도할 예정이었던 내용의 연구가 이미 발표되었다. (따끈 따끈한 1월 5일에!) 대단하기도 하고 허탈하기도하고 신기하기도 하다. 심지어 참고문헌에 내가 봤었던 논문들이 쫙 있어서 너무 놀랬다... 내가 생각한건 기존에 존재하는 3D Shape 모델인 SMPL 모델을 가지고 Deformal한 모델을 생성하거나 매칭하는 것이었는데 이렇게 좋은 연구가 나와주었다. 나도 이 모델을 가지고 연구를 하려다가 권한문제로 필요한 파일을 못받게 되는 문제 때문에 아직 나아가지 못했다가 일단 3D pose estimation 먼저 하고 다되면 ... 하려고 했던..

컨볼루션 네트워크를 이용한 3차원 인간 자세 추정 (텐서플로우를 이용한 구현) 자료이다. Convolutional Pose Machine을 이용하여 3차원 좌표상에 인간의 자세를 추정하는 과정이다.소스코드는 깃에 공개되어있다. 깃 : https://github.com/DenisTome/Lifting-from-the-Deep-release프로젝트 페이지 : http://www0.cs.ucl.ac.uk/staff/D.Tome/papers/LiftingFromTheDeep.html Abstract We propose a unified formulation for the problem of 3D human pose estimation from a single raw RGB image that reasons jo..

Pose Estimation 관련 Git DeeperCut Part Detectors :: https://github.com/eldar/deepcut-cnn (Caffe) 관련 논문 : [1] DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model [2] DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation DeepPose (Stg-1) on TensorFlow :: https://github.com/asanakoy/deeppose_tf asanakoy/deeppose_tf DeepPose implementation on TensorFlo..

OpenPose 를 프로젝트에 적용하려고 "Convolutional Pose Machines" 이라는 논문을 읽던 중 belief map 이라는 개념이 나왔다. 여기서 칭하는 belief의 뜻이란 아래와 같이 쓰여져 있었다. "We use the term belief in a slightly loose sense, however the belief maps described are closely related to beliefs produced in message passing inference in graphical models. The overall architecture can be viewed as an unrolled mean-field message passing inference algori..

OpenPose 라이브러리의 정식 최종 버전이 발표되었다. 이 라이브러리는 사람의 행위를 인식하고 스켈레톤 모델을 정확히 구해낼 수 있는 라이브러리 이다. C++ 기반으로 쓰여져 있으며, Caffe 기반의 라이브러리이지만, 간단한 수정이나, 약간의 expend를 원할 경우 Tensorflow 를 사용하거나 Windows 환경에서 실행 해 볼 수 있다. 정확히는 C++와 Caffe 기반의 Real-time multi-person keypoint detection and multi-threading 라이브러리 라고 할 수 있다. 저자는 Gines Hidalgo, Zhe Cao, Tomas Simon, Shih-En Wei, Hanbyul Joo and Yaser Sheikh 이다. 간혹 HAR 관련 논문을 ..

참고자료 : CMU-Perceptual-Computing-Lab / openpose의 Github HCI(Human-Computer Interaction) 분야와 내가 관심있는 HAR(Human Activity Recognition)에서 요즘 핫한 CMU에서 개발한 Openpose Library의 시스템 구성도이다. Module Diagram 메인 모듈은 세가지로 구성되어있으며, 이를 사용하거나 약간씩 변경하려고 하는 경우 두 가지 메인 컴포넌트로 설명 할 수 있다. 그리고 아래 링크에 모든 모듈의 클래스 다이어그램이 포함되어 있다. openpose/doc/UML/ 그리고 메인 모듈은 다음과 같다. 1. The basic module : core 2. The multi-threading module : ..

출처 : https://github.com/shihenw/convolutional-pose-machines-release Convolutional Pose Machines Shih-En Wei, Varun Ramakrishna, Takeo Kanade, Yaser Sheikh, "Convolutional Pose Machines", CVPR 2016. This project is licensed under the terms of the GPL v2 license. By using the software, you are agreeing to the terms of the license agreement. Contact: Shih-En Wei (weisteady@gmail.com) Recent Updates..

출처 : https://github.com/CMU-Perceptual-Computing-Lab/openpose OpenPose Latest News Apr 2017: Body released! May 2017: Windows version released! Jun 2017: Face released! Check all the release notes. Interested in an internship on CMU as OpenPose programmer? See this link for details. Introduction OpenPose is a library for real-time multi-person keypoint detection and multi-threading written in C+..