연구를 하다보면 좋아하는 저자가 한 두명씩 생기곤 하는데, 그 중 하나가 Facebook AI Research 에서 일하고 계신, OpenPose 저자인 Hanbyul Joo 님이다. 2D, 3D Human Pose Estimation 부터 Hand Keypoint Detection, 3D Deformation Model, Tracking 분야까지 다양한 연구를 하고 계신 분이다. 많은 연구들 중에서 최근에 나온 연구는 아래 논문이다. Joo, Hanbyul, Natalia Neverova, and Andrea Vedaldi, "Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation", arXiv..

다양한 3차원 재구성(Reconstruction) 방법 중에서 3차원 주석이 달린 이미지에 의존적이지 않으면서 3차원 재구성을 수행할 수 있는 방법이 있다. SMPLify 와 같은 최적화 기반 방법은 파라메트릭 인간 모델(Parametric human models)에 의존하며, 몇가지 모델 매개 변수만 예측하면 된다. 이러한 방법들은 추정된 포즈가 2차원으로 투영 시키는데 일어나는 오차를 최소화 하는데만 신경을 쓰기 때문에 추정된 자세가 유효한지를 보장 할 수 없다. 실제로, output quality 는 초기화에 크게 의존하게 된다. 여기서 초기화란 2차원 자세에 body model 을 처음에 fit 하게 맞추는 작업을 의미하는 것 같다. 그렇기 때문에 비교적 까다로운 자세를 추정하지 못하는 문제점이 ..

3일 전에 나온 따끈 따끈한 논문을 소개한다. 3D Reconstruction / Modeling / Representation 분야와 밀접한 연관이 있다. Deep Structured Implicit Functions 라는 논문인데, 제안하는 DSIF(Deep Structural Implicit Functions) 알고리즘을 통해 표면을 정확하게 재구성하고, 효율적으로 계산하며, 다양한 모양의 범주를 일반화하고, Depth 카메라로부터 추론을 가능하게 하는 3차원 모양을 나타내고 학습할 수 있다고 한다. SOTA 인 OccNet 보다 10.3 정도 높은 성능을 제공하면서도 일관성 있게 각 입력에 대해 구조화된 3D 양상을 생성해낸다. 3D Shape Representation 분야는 표면의 재구성, 분..

Expressive Body Capture : 3D Hands, Face, and Body from a Single Image https://eehoeskrap.tistory.com/226?category=705415 [Pose Estimation] 3D Deformation Model Human Pose Estimation 분야에서 핫한 Convolutional Pose Machines 을 이용해서 연구중인데, 내가 시도하려고 했던, 아니 향후 시도할 예정이었던 내용의 연구가 이미 발표되었다. (따끈 따끈한 1월 5일에!) 대단.. eehoeskrap.tistory.com Total Capture : A 3D Deformation Model for Tracking Faces, Hands, and Bod..

출처 : http://noa99kee.tistory.com/entry/1-Kinect-v1%EA%B3%BC-Kinect-v2%EC%9D%98-%EC%B2%A0%EC%A0%80%ED%95%9C-%EB%B9%84%EA%B5%90 차세대 Kinect for Windows 2012 년 미국 마이크로 소프트에서 발매 된 Kinect v1은 Depth (= 심도)과 Skeleton (= 인물 자세) 등의 정보를 쉽게 얻을 수 있기 때문에 전세계의 개발자 및 연구자로부터 주목했다. 2014 년에 발매 된 Kinect v2는 하드웨어, 소프트웨어 모두 크게 진화했다. Kinect v1과 Kinect v2의 외관 비교 Kinect v1 (그림 1)과 Kinect v2 (그림 2)의 외관 사진을 나타낸다. 그림 1 Kin..

[Kinect] kinect 설치하기 (Windows 10, 64 bit, usb 3.0) 환경은 Windows 10, 64bit, usb 3.0, Visual Studio 2015 이다. usb 3.0 버전은 키넥트 SDK 프로그램 다운로드가 안된다고 하여, 키넥트 SDK 1.8 버전을 다운받았다. 3.0 버전이 아니거나 최신버전 다운을 받고싶다면 아래 사이트에서 SDK를 다운하면 된다. http://www.kinectforwindows.com/ 2.0 버전이거나 낮은 버전을 다운 받고 싶다면 아래 사이트에서 적절한 SDK를 다운하면 된다. 나는 v1.8 을 다운받았다. https://www.microsoft.com/en-us/search/result.aspx?q=kinect+for+windows+sd..

Trifocal tensor (그림 1) Trifocal tensor 컴퓨터 비전에서 Trifocal tensor (또는 tritensor) 는 3개의 View 사이의 모든 투영 기하학적 관계를 통트는 3 x 3 x 3 행렬이다. 이는 3개의 View에 있는 Line과 Point에 대응하는 좌표가 있고, 이는 Scene Structure에 영향을 받지 않고, 캘리브레이션 파라미터와 3개의 View 에 영향을 받는다. 따라서, Trifocal tensor는 3개의 View에서 기본 행렬의 일반화라고 할 수 있다. 27개의 요소들로 구성되어있으며, 18개 만 독립적으로 존재한다. (그림 2) Trifocal tensor Matrix 즉, 그림 1에서와 같이 공간상의 하나의 직선 L이 세 가지 View에 투영..

[Stereo Vision] Disparity Map 생성 1. Disparity Map 이란? Disparity는 Stereo 정합을 위한 두 이미지(left image, right image, 또는 왼쪽에서 보는 시야와 오른쪽에서 보는 시야를 말함)에서의 객체의 위치 상의 다른 차이를 말한다. 이 차이를 parallax 하게 만드는 것을 Disparity Map 이라고 한다. 우리의 뇌는 2차원 이미지로부터 Depth information을 계산하여 disparity를 계산하게 된다. 간단히 말해서 Pixel의 Disparity는 그 픽셀에 대한 최소 제곱 합들의 Shift value와 같다. Disparity 는 왼쪽 시야와 오른쪽 시야로부터 보이는 특징의 position 사이의 2D vector라..

참고자료 1 : http://docs.opencv.org/master/da/de9/tutorial_py_epipolar_geometry.html OpenCV: Epipolar Geometry Goal In this section, We will learn about the basics of multiview geometry We will see what is epipole, epipolar lines, epipolar constraint etc. Basic Concepts When we take an image using pin-hole camera, we loose an important information, ie depth of the docs.opencv.org 참고자료 2 : http://dar..

출처 : http://www.ntrexgo.com/archives/2280 [13호]스테레오 영상을 처리하는데 있어 발생하는 이슈 | NTREXGO - 디바이스마트, 엔티렉스 컨텐츠 스테레오 영상을 처리하는데 있어 발생하는 이슈 글 | 위드로봇(주) 김도윤 ■ 스테레오 비전이란? 영화관에서 3D나 4D라는 표현이 자주 쓰이게 되면서 입체감 있는 영상에 대한 이해는 예전보다� www.ntrexgo.com 스테레오 비전이란? 영화관에서 3D나 4D라는 표현이 자주 쓰이게 되면서 입체감 있는 영상에 대한 이해는 예전보다는 훨씬 쉬워졌습니다. 일반 카메라로 찍은 사진은 3차원(3D) 물체의 반사광을 2차원(2D) 필름 또는 2차원 센서에 투영(projection) 시킨 것이기에 3차원 정보 중 카메라에서부터 물..

목표 "3D Reconstruction" based Point Cloud using Kinect. Streo camera in OpenNI 1. 스테레오 카메라로 입력받은 이미지를(ex using Kinect) Point Cloud(or ICP)를 이용하여 3D Reconstuction. 2. Original Object를 자연마커로 설정 3. 3D Modeling 된 객체를 자연마커 위에 증강 KinectFusion - Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera [28C3] 출처 : https://www.youtube.com/watch?v=bRgEdqDiOuQ&ebc=ANyPxKpzUvOzRK0XIGsFDZXDNzLC..