person detection(object detection) + pose estimation + keypoint rescoring

COCO Keypoint 데이터 세트를 만들기 위해 아래와 같은 툴을 사용 할 수 있다. Supervisely Visipedia 1. Supervisely 회원 가입 후, 프로젝트를 생성하여 사진을 불러와 주석을 달 수 있다. 먼저 박스를 쳤을 때 포즈 모델이 어떻게 구성될건지 정의해주는 작업이 필요하다. 웹 기반으로 되어있으며, 포즈모델 이외에도 다양한 라벨링 작업을 수행 할 수 있다. 깃허브 https://github.com/supervisely/supervisely supervisely/supervisely AI for everyone! :tada: Neural networks, tools and a library we use in Supervisely - supervisely/supervisely..

Pose Estimaiton 분야에서 Occlusion(폐색) 문제를 해결 해 볼 수 있는 흥미로운 주제를 발견하였다. MIT에서 연구중인 RF-Pose 인데, 이는 벽에 의해 사람이 가려지는 현상이 일어나더라도 정확하게 자세를 추정 할 수 있다. WiFi 주파수의 무선 신호가 벽을 통과하면서 인체에 반사되는 기술을 이용한 방법이다. 비전 기반 기술 만큼 정확하다고 말하고 있다. 같은 시간에 발생한 Vertical Heatmap 과 Horizontal Heatmap 을 결합한 RF Heatmap 정보를 이용하는데, 이는 폐색 현상을 해결 할 뿐만 아니라 어두운 공간에서 까지 정확하게 인간의 자세를 추정해낼 수 있다. 또 흥미로운 것은 일반적으로 자세 추정 분야에서의 평가 측정은 PCKh 와 OKS 를 이..

wrnchAI 의 포즈 추정 시스템과 OpenPose를 비교하였다. wrnchAI는 비디오로부터 인간의 모션과 행위를 분석하기 위한 Real-time 용 AI 소프트웨어 플랫폼 기업이다. 그 중 pose 를 추정하는 기술을 비교하였다. 홈페이지에서 보면 쏠쏠한 자료들이 많이 있다. https://wrnch.ai/technology/ wrnch - Artificial Intelligence For Real World Applications From making our world a safer place to staying healthier and having more fun, wrnchAI is changing how we interact with the world. Browse our enabled fe..

Introduction Pose Estimation 분야에서 가장 유명한 데이터 세트인 COCO, MPII 등에 이어 PoseTrack 이라는 데이터세트가 나왔다. PoseTrack 데이터 세트는 기존의 MPII Human Pose 데이터 세트가 포함되어 있다. 인간 포즈 추정 및 비디오 환경에서의 관절을 추적하기 위한 벤치마크를 담고 있다. 이 데이터 세트는 "Multi-Person Pose Estimation" 또는 "Multi-Person Pose Tracking" 에서 활용 할 수 있다. 1356 video sequences 46K annotated video frames 276K body pose annotations Annotaion 또한 비디오 시퀀스에는 다음과 같은 정보들이 포함되어있다. ..

VGG Human Pose Estimation Datasets : human upper-body pose dataset 총 5개의 데이터세트로 구성되어있다. YouTube Pose BBC Pose Extended BBC Pose Short BBC Pose ChaLearn Pose https://www.robots.ox.ac.uk/~vgg/data/pose/index.html VGG Pose Datasets YouTube Pose [1] The YouTube Pose dataset is a collection of 50 YouTube videos for human upper body pose estimation. It consists of 50 videos found on YouTube covering a..

"pose" 단어로 추출한 CVPR 2019 accepted papers 관련 분야 천천히 모두 정리할 예정 Pose2Seg: Detection Free Human Instance Segmentation Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering Self-Supervised Learning of 3D Human Pose using Multi-view Geometry FSA-Net: Learning Fine-Grained Structure Aggregation for Head Pose Estimation from a Single Image Does Learning Specific Features ..

https://paperswithcode.com/task/pose-estimation Papers With Code : Pose Estimation See leaderboards and papers with code for Pose Estimation paperswithcode.com 위 웹사이트에서 최신 Pose Estimation 에 관한 자료를 접할 수 있다. 본 포스팅은 위 자료에 근거하여 번역하고 정리한 글이다. Pose Estimation 컴퓨터 비전에서 객체의 위치(Position)와 방향(Orientation)을 탐지하는 일반적인 문제이다. 사람의 신체 관절인 키포인트(Keypoint)가 어떻게 구성되어있는지 위치를 측정(Localization)하고 추정(Estimation)하는 문제이다...

2018년 말 쯤 AlphaPose 라는 Real-Time 환경에서 Multi-Person Pose Estimation 및 Tracking 이 가능한 오픈 시스템이 발표되었다. 최근 (2019.04) 에는 MXNet 버전이 출시되었는데 이는 COCO validation set 기준으로 23 fps 를 달성한다고 한다. 23 fps 정도면 리얼타임 환경에서 적용 가능 할 수 있을 것으로 보인다. 이는 Pytorch 를 이용하여 작성되었으며 Linux 와 Windows를 모두 지원한다. 심지어 코드도 쓰레드로 구현되어있다. 아무튼 아마 이는 OpenPose의 뒤를 이을 자세 추정기가 되지 않을까 싶다. (내 생각) AlphaPose : Real-Time and Accurate Multi-Person Pose..

OpenPose 지난 2017년 발표되었던 CMU의 OpenPose 라이브러리에 이어, 깊이 정보까지 알 수 있는 DensePose 가 발표되었다. 인간 행위 인식, 인간 자세 추정과 같은 분야에 있어서 가장 최신 기술 동향이라고 할 수 있다. 인간의 관절부위인 Keypoint Detection 하는 문제부터 시작해서 그 point 들을 어떻게 연결할 것인지, 어떻게 관절 부위(joint or landmark)들을 산출할 것인지 문제를 푸는 것이 중요하다. OpenPose 는 Caffe, OpenCV 기반으로 이루어져 있고, 사람의 얼굴, 신체부위, 손가락을 추정한다. OpenPose 프로젝트 홈페이지 : https://github.com/CMU-Perceptual-Computing-Lab/openpos..

Human Pose Estimation 분야에서 핫한 Convolutional Pose Machines 을 이용해서 연구중인데, 내가 시도하려고 했던, 아니 향후 시도할 예정이었던 내용의 연구가 이미 발표되었다. (따끈 따끈한 1월 5일에!) 대단하기도 하고 허탈하기도하고 신기하기도 하다. 심지어 참고문헌에 내가 봤었던 논문들이 쫙 있어서 너무 놀랬다... 내가 생각한건 기존에 존재하는 3D Shape 모델인 SMPL 모델을 가지고 Deformal한 모델을 생성하거나 매칭하는 것이었는데 이렇게 좋은 연구가 나와주었다. 나도 이 모델을 가지고 연구를 하려다가 권한문제로 필요한 파일을 못받게 되는 문제 때문에 아직 나아가지 못했다가 일단 3D pose estimation 먼저 하고 다되면 ... 하려고 했던..

컨볼루션 네트워크를 이용한 3차원 인간 자세 추정 (텐서플로우를 이용한 구현) 자료이다. Convolutional Pose Machine을 이용하여 3차원 좌표상에 인간의 자세를 추정하는 과정이다.소스코드는 깃에 공개되어있다. 깃 : https://github.com/DenisTome/Lifting-from-the-Deep-release프로젝트 페이지 : http://www0.cs.ucl.ac.uk/staff/D.Tome/papers/LiftingFromTheDeep.html Abstract We propose a unified formulation for the problem of 3D human pose estimation from a single raw RGB image that reasons jo..