728x90
반응형

 

 

 

Pose Estimaiton 분야에서 Occlusion(폐색) 문제를 해결 해 볼 수 있는 흥미로운 주제를 발견하였다. 

 

 

MIT에서 연구중인 RF-Pose 인데, 이는 벽에 의해 사람이 가려지는 현상이 일어나더라도 정확하게 자세를 추정 할 수 있다.

WiFi 주파수의 무선 신호가 벽을 통과하면서 인체에 반사되는 기술을 이용한 방법이다. 비전 기반 기술 만큼 정확하다고 말하고 있다.

 

같은 시간에 발생한 Vertical Heatmap 과 Horizontal Heatmap 을 결합한 RF Heatmap 정보를 이용하는데, 이는 폐색 현상을 해결 할 뿐만 아니라 어두운 공간에서 까지 정확하게 인간의 자세를 추정해낼 수 있다. 

 

또 흥미로운 것은 일반적으로 자세 추정 분야에서의 평가 측정은 PCKh 와 OKS 를 이용하는데, OKS 측정 시 카테고리를 두 분야로 나누었다.

 

"Visible Scenes" / "Through-walls" 

 

 

 

 

 

OpenPose 보다는 좋은 성능을 보였고, 드라마틱 하지는 않지만, 벽을 뚫고 자세를 추정한다는 점에서 혁신적이라고 생각한다. 

아쉬운점은 논문에서도 말하고 있듯 "inter-person" 인간이 인간에 의해 가려지는 폐색 문제는 여전히 여기서도 한계라고 말한다. 

 

이 논문에서 폐색 문제를 해결 할 수 있다는 것은, 물체에 의해 한 사람이 가려졌을 때를 뜻한다. 

인간 자세 추정에 있어서 폐색 문제는 필자가 생각했을 때 총 세가지로 나뉜다. 

 

  1. 다른 물체(사람이 아닌)에 의해 가려졌을 때
  2. 다른 사람에 의해 가려졌을 때
  3. 자신의 신체 부위에 의해 가려졌을 때 

제일 큰 문제는 다른 1번 보다는 2, 3번이 중요하다고 생각한다. 다른 사람에 의해 가려졌을 때는 앞 사람의 무릎 관절과 뒷 사람의 무릎 관절을 어떻게 분리하여 각 사람의 관절로 매칭할 것인가의 문제로 귀결되며, 자신의 신체 부위에 의해 가려졌을 때는 관절 추정의 정확도가 요구되는 문제이다. 

 

두번째 문제는 주파수의 작동 거리는 전송 전력에 달려있다는 한계가 있다고 한다.   

 

또한 마지막 한계는 일상적인 활동이나 걷기 행위에 대해서 잘 동작한다고 한다. 어려운 동작이나, 구부린 동작, 관절의 폐색이 많이 일어나는 복잡한 동작에 대해서는 future work 라고 한다. 

 

 

 

참고 사이트

http://rfpose.csail.mit.edu/

 

Through-Wall Human Pose Estimation Using Radio Signals

RF-Pose provides accurate human pose estimation through walls and occlusions. It leverages the fact that wireless signals in the WiFi frequencies traverse walls and reflect off the human body. It uses a deep neural network approach that parses such radio s

rfpose.csail.mit.edu

 

참고 논문 

Zhao, Mingmin, et al. "Through-wall human pose estimation using radio signals." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. [PDF]

 

728x90
반응형