[Paper Review] AdaptivePose++: A Powerful Single-Stage Network for Multi-Person Pose Regression

 

기존 AdaptivePose 관련 글 

https://eehoeskrap.tistory.com/664

[Paper Review] AdaptivePose : Human Parts as Adaptive Points

 

 

Paper : https://arxiv.org/pdf/2210.04014v1.pdf

 

AdaptivePose에 이어 AdaptivePose++ 도 2022년 10월 8일자로 공개되었네요. crowdpose 및 MuPoTS-3D 데이터셋에서 실험을 추가적으로 해서 논문이 등장한 듯 합니다. crowd 장면 및 3d scene에서도 동작 가능성을 보여준게 의의가 있는 듯 합니다. preliminary version인 AdaptivePose는 AAAI 에 소개되었으며 이를 5가지 측면에서 확장했다고 합니다. 

 

• Abstract, Introduction, Related Work, Methodology, Experiments 내용 보강
• regression loss 개선, inner part와 cross part 부분의 bone connection을 학습하기 위해 변경 -> crowd 학습에 도움 
• 여러 하이퍼파라미터 조정, single forward pass에서 성능을 개선하여 ablation experiment 추가 
• CrowdPose에 대한 SOTA 달성 결과 추가 
• 2D framework를 유지하고 depth estimation componet를 추가하고, 3D multi-person pose estimation task로 확장하여 MuPoTS-3D에 대한 결과를 추가함 

 

novel representation은 아래와 같이 나타납니다. 왼쪽은 preliminary version, 오른쪽은 current version 입니다. 

 

흰색 점은 human center를 나타내고, 나머지는 다른 색상으로 나타냈으며, 각 instance에 조건을 부여한 adaptive point set을 활용하여 human pose를 세밀하게 표현합니다. 신체 구조에 따라 human part를 나누고, 검은색 점선 화살표는 십자 부분의 bone connection을 나타내고, 실선은 innerpart의 bone connection을 나타냅니다. 

 

 

 

 

본 논문에서 제안하는 방법은 아래와 같습니다. 기존 AdaptivePose 사진과 비교했을 때 multi person 위주로 설명이 되었네요. 

 

 

 

 

 

Two-hop Regression Branch에서 loss가 달라진 듯 합니다. 

 

 

 

 

 

CrowdPose dataset에서의 결과입니다. 

 

 

 

MuPoTS-3D datasets 에서의 결과입니다.