Human Pose Estimation 최신 연구 동향, One-shot(root node based regression) 방법
humanpose estimation 연구 분야에서 접근 방식을 주로 top-down, bottom-up 방법으로 나누곤 하는데요, 이외에도 주목해야할 방식이 있습니다. 바로 one-shot approach 입니다. (CenterAttention 논문에서 나온 표현) one-shot 방법은 bottom-up 기반 방식에서 조금 더 업그레이드 된 버전이라고 보시면 되는데요, 일반적으로 각 root node의 위치를 regression 한 다음 keypoint 위치에 대한 offset을 예측하는 것입니다. 이를 pixel-wise regression이라고도 합니다. 최적화 과정이 필요한 그룹화 과정이 필요없기 때문에 훨씬 inference time이 빠릅니다. 그러나 occlusion 및 scale 변동성에 대해 정확도가 떨어질 수 있기 때문에 좋은 성능을 위해서는 post-processing 과정에 여전히 의존적이긴 합니다. 이러한 과정을 사용하는 pose estimation 방법은 아래와 같습니다.
CenterNet 및 CenterAttention 방법을 인용한 논문을 기준으로 연도별로 직접 정리해보았습니다! 🔥
1. CenterNet (2019) 🔥 (one-shot 기반 방식의 시초가 된 논문)
object detection 분야에서 anchor-free 기반 방법인데, keypoint detection 분야에도 적용가능함을 보여줌
center의 위치를 root로 두고, center로 부터 각 joint간의 거리를 regression 하는 방식
Paper : https://arxiv.org/pdf/1904.07850.pdf
GitHub : https://github.com/xingyizhou/CenterNet
2. Single-Stage Multi-Person Pose Machines (2019)
root joint를 이용하여 joint displacement를 학습하는 모델, Hierarchical body representation을 사용
Paper : https://arxiv.org/pdf/1908.09220.pdf
GitHub : https://github.com/murdockhou/Single-Stage-Multi-person-Pose-Machines
3. Microsoft Research의 Point-Set Anchors, PointSetNet (2020)
point-set anchor를 이용하여 valid anchor point 여부를 학습한 모델
Paper : https://arxiv.org/pdf/2007.02846.pdf
GitHub : https://github.com/FangyunWei/PointSetAnchor
4. ICCV 2021에 소개된 CenterAttention 방법 (2021)
center point로부터 keypoint를 학습하는 방법, transformer, attention 개념을 이용
Paper : https://arxiv.org/pdf/2110.05132.pdf
GitHub : https://github.com/dvl-tum/center-group
5. PoseDet (2021)
offset 기반 keypoint-aware pose embedding을 이용하여 joint localization, candidate classification을 수행
Paper : https://arxiv.org/pdf/2107.10466.pdf
GitHub : https://github.com/IIGROUP/PoseDet
6. google의 movenet (2021)
구글에서 개발한 movenet 모델, center로부터 keypoint를 계산하고, 2d offset 보정까지 수행
Next-Generation Pose Detection with MoveNet and TensorFlow.js
MoveNet is a human pose detection architecture developed at Google that is ultra fast and accurate. It was designed to detect difficult poses
blog.tensorflow.org
7. CVPR 2022에 소개된 DAS 모델 (2022)
human center, center confidece map, center coordinate map을 사용하여 3d pose estimation을 수행
Paper : https://arxiv.org/abs/2203.07697
8. ECCV 2022에 소개된 KAPAO(Keypoints And Poses A s Objects) (2022)
keypoint object (bbox center)를 이용하여 keypoint를 학습하는 방법, Rethinking Keypoint Representation을 제안
Paper : https://arxiv.org/pdf/2111.08557.pdf
GitHub : https://github.com/wmcnally/kapao
9. AAAI 2022에 소개된 AdaptivePose (2022)
ceneter or root 로부터 keypoint regression을 수행하는 방법, point set representation을 사용
Paper : 두 가지 버전이 존재
AdaptivePose https://arxiv.org/abs/2112.13635
AdaptivePose++ https://arxiv.org/abs/2210.04014
GitHub : https://github.com/buptxyb666/AdaptivePose
