티스토리
관련 서비스
  • Symbols스토리 홈바로가기바로가기
  • 브런치브런치스토리바로가기바로가기
  • 카카오스토리카카오스토리바로가기바로가기

Enough is not enough
검색하기
블로그 홈

블로그 홈

Enough is not enough

도서 분야 크리에이터
eehoeskrap.tistory.com/m
신고

생각과 기록 그리고 발전

구독자
275
방명록 방문하기
구독하기
공지 꾸준희 블로그 모두보기

주요 글 목록

  • [Human Pose Estimation] A Dataset of Relighted 3D Interacting Hands Paper : https://arxiv.org/pdf/2310.17768.pdf Project Page: https://mks0601.github.io/ReInterHand/ Re:InterHand Dataset A Dataset of Relighted 3D Interacting Hands (NeurIPS 2023 Datasets and Benchmarks Track) mks0601.github.io Meta Reality Labs Research 에서 나온 데이터세트 Re:InterHand 데이터이다. 두 손이 상호작용 하는 문제는 self-similarity, complicated articulations, and occlusions of hands 문제 때문에 가장 분석하기 어려운 task 중 하나.. 공감수 0 댓글수 0 2023. 11. 15.
  • [Paper Review] Effective Whole-body Pose Estimation with Two-stages Distillation Paper : https://arxiv.org/abs/2307.15880 Effective Whole-body Pose Estimation with Two-stages Distillation Whole-body pose estimation localizes the human body, hand, face, and foot keypoints in an image. This task is challenging due to multi-scale body parts, fine-grained localization for low-resolution regions, and data scarcity. Meanwhile, applying a highly e arxiv.org GitHub : https://github... 공감수 0 댓글수 0 2023. 8. 18.
  • [Paper Review] MobileHumanPose : Toward real-time 3D human pose estimation in mobile devices 이번에 읽게된 논문은 CVPR 2021에 소개된 MobileHumanPose: Toward real-time 3D human pose estimation in mobile devices 입니다. 참고로 카이스트에서 게재한 논문이며, 3D Human Pose Estimation 모델을 Mobile Device에서 작동 될 수 있도록 경량화 한 논문입니다. Contribution 본 논문에서의 주요 Contribution은 아래와 같습니다. 기존 3D HPE 방법들이 높은 computing cost + 정확도에 초점을 맞췄던 것에 비해 본 논문에서는 모바일 기반 모델 효율성을 다룸 MobileNet v2 수정, parametric activation function, Skip concatenation (U-.. 공감수 0 댓글수 0 2023. 5. 26.
  • [Human Pose Estimation] AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild GitHub : https://github.com/zhezh/occlusion_person GitHub - zhezh/occlusion_person: A dataset for multiview 3D human pose estimation with detailed occlusion labels, powered by Unr A dataset for multiview 3D human pose estimation with detailed occlusion labels, powered by UnrealCV - GitHub - zhezh/occlusion_person: A dataset for multiview 3D human pose estimation with detaile... github.com Paper .. 공감수 0 댓글수 0 2023. 5. 23.
  • [Paper Review] RTMPose: Real-Time Multi-Person Pose Estimation based on MMPose Paper : https://arxiv.org/pdf/2303.07399v1.pdf GitHub : https://github.com/open-mmlab/mmpose/tree/1.x/projects/rtmpose GitHub - open-mmlab/mmpose: OpenMMLab Pose Estimation Toolbox and Benchmark. OpenMMLab Pose Estimation Toolbox and Benchmark. Contribute to open-mmlab/mmpose development by creating an account on GitHub. github.com 오늘 리뷰할 논문은 Shanghai AI Lab에서 소개한 "RTMPose: Real-Time Multi-Perso.. 공감수 2 댓글수 2 2023. 3. 16.
  • [Paper Review] Keypoint-wise Adaptive Loss for Whole-Body Human Pose Estimation Paper : https://www.researchgate.net/publication/368336170_Keypoint-wise_Adaptive_Loss_for_Whole-Body_Human_Pose_Estimation Introduction 오늘 읽어볼 논문은 AAAI 2023에 소개될 Keypoint-wise Adaptive Loss for Whole-Body Human Pose Estimation 라는 논문입니다. NHN Cloud 분들이 논문을 냈네요. 아직 코드는 공개가 안된 듯 합니다. 이 논문은 dense 및 coarse keypoints의 mixed characteristic을 분석하여 whole-body human pose estimation을 수행합니다. whole body를 추정하는.. 공감수 0 댓글수 0 2023. 2. 23.
  • [Paper Review] SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation Paper : https://arxiv.org/abs/2107.03332 GitHub : https://github.com/leeyegy/SimCC GitHub - leeyegy/SimCC: [ECCV'2022 Oral] PyTorch implementation for: SimCC: a Simple Coordinate Classification Perspective for H [ECCV'2022 Oral] PyTorch implementation for: SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation (http://arxiv.org/abs/2107.03332). Old name: SimDR - GitHub -.. 공감수 0 댓글수 0 2023. 2. 20.
  • [Paper Review] YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss Paper : https://openaccess.thecvf.com/content/CVPR2022W/ECV/papers/Maji_YOLO-Pose_Enhancing_YOLO_for_Multi_Person_Pose_Estimation_Using_Object_CVPRW_2022_paper.pdf GitHub : https://github.com/TexasInstruments/edgeai-yolov5/tree/yolo-pose GitHub - TexasInstruments/edgeai-yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to TexasInstrumen.. 공감수 1 댓글수 0 2023. 2. 14.
  • Human Pose Estimation 최신 연구 동향, One-shot(root node based regression) 방법 humanpose estimation 연구 분야에서 접근 방식을 주로 top-down, bottom-up 방법으로 나누곤 하는데요, 이외에도 주목해야할 방식이 있습니다. 바로 one-shot approach 입니다. (CenterAttention 논문에서 나온 표현) one-shot 방법은 bottom-up 기반 방식에서 조금 더 업그레이드 된 버전이라고 보시면 되는데요, 일반적으로 각 root node의 위치를 regression 한 다음 keypoint 위치에 대한 offset을 예측하는 것입니다. 이를 pixel-wise regression이라고도 합니다. 최적화 과정이 필요한 그룹화 과정이 필요없기 때문에 훨씬 inference time이 빠릅니다. 그러나 occlusion 및 scale 변동성에.. 공감수 3 댓글수 0 2023. 2. 4.
  • [Paper Review] The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation Paper : https://arxiv.org/abs/2110.05132 The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation We introduce CenterGroup, an attention-based framework to estimate human poses from a set of identity-agnostic keypoints and person center predictions in an image. Our approach uses a transformer to obtain context-aware embeddings for all detected keypoint arx.. 공감수 0 댓글수 0 2023. 2. 4.
  • Multi-person Pose Estimation 방법 Multi-person Pose Estimation은 아래 그림과 같이 이미지 상에 나타난 여러 사람들에 대한 keypoint 연결 관계를 추론해내는 것입니다. Multi-person Pose Estimation이 어려운 이유는 아래와 같습니다. 1. 여러명의 사람이 다양한 scale과 position에서 등장하는 문제 2. 사람들의 activity 및 interaction 으로 인해 complex pose를 유발됨 3. 여러 사람들의 body part articulation 및 occlusion로 인해 어려움 Top-down multi-people pose estimation 각 사람을 먼저 검출한 다음 검출된 이미지 패치에서 각 사람의 자세를 독립적으로 추정하는 전략입니다. 이러한 접근 방식의 장점은.. 공감수 0 댓글수 0 2023. 2. 3.
  • [Paper Review] Contextual Instance Decoupling for Robust Multi-Person Pose Estimation Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_Contextual_Instance_Decoupling_for_Robust_Multi-Person_Pose_Estimation_CVPR_2022_paper.pdf GitHub : https://github.com/kennethwdk/CID 공감수 0 댓글수 0 2023. 2. 3.
  • [Paper Review] Self-Constrained Inference Optimization on Structural Groups for Human Pose Estimation Paper : https://arxiv.org/abs/2207.02425 Self-Constrained Inference Optimization on Structural Groups for Human Pose Estimation We observe that human poses exhibit strong group-wise structural correlation and spatial coupling between keypoints due to the biological constraints of different body parts. This group-wise structural correlation can be explored to improve the accuracy an arxiv.org 이번에.. 공감수 3 댓글수 2 2022. 12. 15.
  • [Paper Review] Rethinking Keypoint Representations, Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation Paper : https://arxiv.org/abs/2111.08557 Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation In keypoint estimation tasks such as human pose estimation, heatmap-based regression is the dominant approach despite possessing notable drawbacks: heatmaps intrinsically suffer from quantization error and require excessive computation to ge.. 공감수 0 댓글수 2 2022. 12. 1.
  • [Paper Review] Pose for Everything, Towards Category-Agnostic Pose Estimation Paper : https://arxiv.org/pdf/2207.10387.pdf GitHub : https://github.com/luminxu/Pose-for-Everything GitHub - luminxu/Pose-for-Everything: The official repo for ECCV'22 paper: Pose for Everything: Towards Category-Agnostic Pose E The official repo for ECCV'22 paper: Pose for Everything: Towards Category-Agnostic Pose Estimation - GitHub - luminxu/Pose-for-Everything: The official repo for ECCV'2.. 공감수 0 댓글수 2 2022. 12. 1.
  • [Paper Review] PoseDet, Fast Multi-Person Pose Estimation Using Pose Embedding Paper : https://arxiv.org/pdf/2107.10466.pdf GitHub : https://github.com/IIGROUP/PoseDet GitHub - IIGROUP/PoseDet: [FG 2021] Code for PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding [FG 2021] Code for PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding - GitHub - IIGROUP/PoseDet: [FG 2021] Code for PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding github.. 공감수 1 댓글수 0 2022. 12. 1.
  • [Paper Review] AdaptivePose++: A Powerful Single-Stage Network for Multi-Person Pose Regression 기존 AdaptivePose 관련 글 https://eehoeskrap.tistory.com/664 [Paper Review] AdaptivePose : Human Parts as Adaptive Points Paper : https://arxiv.org/pdf/2112.13635.pdf 이번에 리뷰할 논문은 AAAI 2022에서 소개된 "AdaptivePose : Human Parts as Adaptive Points" 라는 논문입니다. multi-person pose estimation 방법은 보통 bottom up 이나 top down 방식으 eehoeskrap.tistory.com Paper : https://arxiv.org/pdf/2210.04014v1.pdf AdaptivePose에 이어 A.. 공감수 2 댓글수 0 2022. 10. 18.
  • [Paper Review] AdaptivePose : Human Parts as Adaptive Points Paper : https://arxiv.org/pdf/2112.13635.pdf Github : https://github.com/buptxyb666/AdaptivePose GitHub - buptxyb666/AdaptivePose: This is an official implementation of our AAAI2022 paper“AdaptivePose: Human Parts as Adapti This is an official implementation of our AAAI2022 paper“AdaptivePose: Human Parts as Adaptive Points” - GitHub - buptxyb666/AdaptivePose: This is an official implementation .. 공감수 1 댓글수 0 2022. 10. 18.
  • [Paper Review] Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation Paper : https://arxiv.org/abs/2208.00090 Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation Occlusion poses a great threat to monocular multi-person 3D human pose estimation due to large variability in terms of the shape, appearance, and position of occluders. While existing methods try to handle occlusion with pose priors/constraints, data augme arxiv.org GitHub : https://gi.. 공감수 1 댓글수 0 2022. 10. 18.
  • [Paper Review] Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Kundu_Uncertainty-Aware_Adaptation_for_Self-Supervised_3D_Human_Pose_Estimation_CVPR_2022_paper.pdf 본 논문의 main contribution은 아래와 같습니다. multi-representation pose network를 사용하는 MRP-Net을 제안하였으며, pose-uncertainty는 두 가지 다양한 설계(model-free, model-based)를 기반으로 하는 2개의 output head를 통한 pose prediction간의 불일치로 정량화됩니다. 제안된 포즈와 joint uncertainty의 효율.. 공감수 2 댓글수 0 2022. 10. 13.
  • [Paper Review] Occlusion-Aware Networks for 3D Human Pose Estimation in Video Paper : https://openaccess.thecvf.com/content_ICCV_2019/papers/Cheng_Occlusion-Aware_Networks_for_3D_Human_Pose_Estimation_in_Video_ICCV_2019_paper.pdf 본 논문에서는 3D Human Pose Estimation에서 Occlusion 문제를 해결하기 위하여 occlusion aware deep learning framework 제안합니다. 이를 위해 keypoint의 2D confidence heatmap과 optical flow의 consistency constraint를 사용하여 occluded keypoint의 unreliable estimation을 filtering 합니다. oc.. 공감수 0 댓글수 0 2022. 8. 21.
  • [Paper Review] FasterPose, A Faster Simple Baseline for Human Pose Estimation Paper : https://arxiv.org/abs/2107.03215 FasterPose: A Faster Simple Baseline for Human Pose Estimation The performance of human pose estimation depends on the spatial accuracy of keypoint localization. Most existing methods pursue the spatial accuracy through learning the high-resolution (HR) representation from input images. By the experimental analysis, w arxiv.org 2021년 7월에 아카이브에서 공개된 Faster.. 공감수 0 댓글수 0 2022. 7. 18.
  • [Paper Review] CPN, Cascaded Pyramid Network for Multi-Person Pose Estimation 오늘은 Pose Estimation 분야에서 CPN으로 유명한 Casecaded Pyramid Network 논문을 빠르게 훑어보도록 하겠습니다. 이 논문에서는 여러가지 복합적인 요인(Occlusion, Background, ...)에 의하여 검출하기 어려운 키포인트들을 잘 검출하기 위해 CPN이라는 구조를 제안했습니다. 크게 아래 그림과 같이 GlobalNet과 RefineNet으로 구성되어있습니다. 이름에서도 알 수 있듯이 GlobalNet에서는 feature pyramid network 기반으로 global feature를 추출하여 localization하는 방식이며, RefineNet은 GlobalNet에서 localization 하지 못한 hard keypoint를 hard keypoint mi.. 공감수 2 댓글수 0 2022. 7. 18.
  • [Paper Review] SmoothNet, A Plug-and-Play Network for Refining Human Poses in Videos 이번에 읽을 논문은 ECCV 2022에서 발표 예정인 SmoothNet 이라는 논문 입니다. 제가 개인적으로 Plug-and-Play Network를 굉장히 좋아합니다 ㅎㅎㅎㅎ 제목부터 마음에 드네요. Abstract 내용을 간단히 소개하자면 human motion video 환경에서 기존 pose estimation 방식들의 output jitter들은 프레임 전반에 걸쳐 다양한 estimation error를 발생시키는데, 거의 보이지 않거나 가려진 동작의 경우 여러 관절의 추정 위치가 연속 프레임 시퀀스에 대한 실제 값에서 크게 벗어나 significant jitter들을 발생시키게 됩니다. 이러한 문제를 해결하기 위해 SmoothNet을 제안했습니다. 본 논문에서는 jitter를 완화하기 위해 기.. 공감수 1 댓글수 0 2022. 7. 15.
  • [Pose Estimation] waterfall module 기반으로 설계된 자세 추정 방법들 (UniPose, UniPose+, OmniPose, BAPose) waterfall module 즉 WASP(Waterfall Atrous Spatial Pyramid)는 위 그림과 같은 구성으로 되어있으며 원래 semantic segmentation을 위해 multiscale fields-of-view(FOV)를 유지하면서 cascade architecture에서 progressive filtering을 활용하는 “Waterfall” Atrous Spatial Pooling 기반 방식으로 이루어진 모듈이다. 이와 같은 module로 설계된 자세 추정 방법들은 아래와 같다. 1. UniPose, Unified Human Pose Estimation in Single Images and Videos (CVPR 2020) WASP module (w/ a cascade of.. 공감수 0 댓글수 0 2022. 4. 20.
  • [Paper Review] UniPose, Unified Human Pose Estimation in Single Images and Videos “Waterfall” Atrous Spatial Pooling architecture를 기반으로 인간의 자세를 추정하는 UniPose를 소개합니다. 참고로 Waterfall Atrous Spatial Pooling 방법은 semantic segmentation을 위해 multiscale fields-of-view를 유지하면서 cascade architecture에서 progressive filtering을 활용하는 module 입니다. 본 논문에서는 contextual segmentation 및 joint localization을 통합하여 statistical postprocessing 방법에 의존하지 않고 single stage 에서 인간의 자세를 높은 정확도로 추정한다고 합니다! 이러한 방법은 mul.. 공감수 0 댓글수 0 2022. 4. 20.
  • [Pose Estimation] Google Research의 MoveNet API Google Research에서 TensorFlow.js 로 경량화된 자세 추정 모델인 MoveNet의 API를 공개하였습니다. 랩탑 환경에서도 30FPS 이상 달성한다고 합니다. 참고로 이를 기반으로 홈트레이닝 분야에 적용을 한 국내 논문 "딥러닝 기반 영상처리 기법 및 표준 운동 프로그램을 활용한 비대면 온라인 홈트레이닝 어플리케이션 연구"도 있네요. MoveNet은 17개의 keypoint를 감지하는 모델이며, 정확도에 초점을 맞춘 Thunder 버전과 속도에 초점을 맞춘 Lightning 버전을 제공하고 있습니다. 또한 JS 모델과 TF모델 및 TFLite모델(+ float16, int8)들을 제공하고 있습니다. 서버 호출 없이도 TensorFlow.js를 사용하는 브라우저에서 모델을 실행할 수 .. 공감수 2 댓글수 0 2022. 2. 24.
  • [Paper Review] Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression Paper : https://arxiv.org/pdf/2104.02300.pdf Github : https://github.com/HRNet/DEKR HRNet/DEKR This is an official implementation of our CVPR 2021 paper "Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression" (https://arxiv.org/abs/2104.02300) - HRNet/DEKR github.com 오랜만에 읽고싶은 논문이 생겨서 이렇게 리뷰를 작성해본다. 논문은 그동안 가끔 읽었었는데 정리를 하는건 엄청 오랜만이라, pose estimation 카테고리에 쓸지, paper review 카테고리에서 쓸.. 공감수 0 댓글수 0 2021. 6. 23.
  • [Pose Estimation] NVIDIA TLT의 BodyPoseNet NVIDIA Transfer Learning Toolkit(이하 TLT)에서 "BodyPoseNet" 과 함께 COCO 데이터를 사용하여 2D Pose Estimation 모델을 학습하고 INT8 등으로 최적화하는 방법에 대해 다루었다. 이는 기존 오픈 소스인 OpenPose 보다 AP가 8% 정도 떨어지지만 속도면에서는 아주 월등히 우수함을 보여준다. NVIDIA TLT에서 제공하는 BodyPoseNet은 VGG와 같은 백본 네트워크를 이용하여 confidence map 및 PAF를 이용하여 픽셀 단위 예측을 수행한 후 multi stage refinement (0 ~ N stages)로 구성된 구조를 사용하는 fully connected convolution 모델이며, 18개의 키포인트들을 예측한다... 공감수 1 댓글수 0 2021. 6. 21.
  • [Pose Estimation] 자세를 분류하는 방법 아래 글은 Google 에서 나온 모바일용 ML Kit 의 한 부분인 자세 추정(Pose Estimation)을 이용하여 자세를 분류하는 방법에 관한 것이다. 자세를 분류하는 방법은 딥러닝을 이용하여 어떤 자세인지 분류하는 방법(e.g. CNN을 이용한 자세 분류)과 기계학습 알고리즘 중 하나인 SVM(Support Vector Machine)을 이용하여 자세를 분류하는 방법, 그리고 아래 Google에서 제시해 놓은 각도를 이용하여 자세를 분류하는 방법이 있다. 사실 필자가 생각하기에 가장 좋은 방법은 CNN을 이용하여 스켈레톤을 분류하거나, SVM으로 분류하는 것이 정확도 측면에서 좋다고 생각한다. 하지만 아래와 같이 간단하게 구현해 볼 수 있는 방법도 존재하기 때문에 이를 다뤄보고자 한다. 구글에서.. 공감수 2 댓글수 17 2021. 3. 1.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.