humanpose estimation 연구 분야에서 접근 방식을 주로 top-down, bottom-up 방법으로 나누곤 하는데요, 이외에도 주목해야할 방식이 있습니다. 바로 one-shot approach 입니다. (CenterAttention 논문에서 나온 표현) one-shot 방법은 bottom-up 기반 방식에서 조금 더 업그레이드 된 버전이라고 보시면 되는데요, 일반적으로 각 root node의 위치를 regression 한 다음 keypoint 위치에 대한 offset을 예측하는 것입니다. 이를 pixel-wise regression이라고도 합니다. 최적화 과정이 필요한 그룹화 과정이 필요없기 때문에 훨씬 inference time이 빠릅니다. 그러나 occlusion 및 scale 변동성에..

Paper : https://arxiv.org/abs/2110.05132 The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation We introduce CenterGroup, an attention-based framework to estimate human poses from a set of identity-agnostic keypoints and person center predictions in an image. Our approach uses a transformer to obtain context-aware embeddings for all detected keypoint arx..

Multi-person Pose Estimation은 아래 그림과 같이 이미지 상에 나타난 여러 사람들에 대한 keypoint 연결 관계를 추론해내는 것입니다. Multi-person Pose Estimation이 어려운 이유는 아래와 같습니다. 1. 여러명의 사람이 다양한 scale과 position에서 등장하는 문제 2. 사람들의 activity 및 interaction 으로 인해 complex pose를 유발됨 3. 여러 사람들의 body part articulation 및 occlusion로 인해 어려움 Top-down multi-people pose estimation 각 사람을 먼저 검출한 다음 검출된 이미지 패치에서 각 사람의 자세를 독립적으로 추정하는 전략입니다. 이러한 접근 방식의 장점은..

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_Contextual_Instance_Decoupling_for_Robust_Multi-Person_Pose_Estimation_CVPR_2022_paper.pdf GitHub : https://github.com/kennethwdk/CID

Project page : https://scenediffuser.github.io/ SceneDiffuser Siyuan Huang1✶✉️ Zan Wang1,2✶ Puhao Li1,3 Baoxiong Jia1 Tengyu Liu1 Yixin Zhu4 Wei Liang2✉️ Song-Chun Zhu1,3,4 ✶ indicates equal contribution ✉️ indicates corresponding authors 1National Key Labor scenediffuser.github.io Video : https://scenediffuser.github.io/assets/illustration-720.mp4 Paper : Diffusion-based Generation, Optimizatio..

맥과 리눅스를 사용하고 있어서 한글 문서는 편집 못하겠구나 생각했다가, 찾아보니 좋은 사이트가 있어서 공유한다. 네이버 짱짱 네이버오피스 사이트에 접속한 후 HWP파일을 업로드하면 됩니다. ① 사이트 접속: https://office.naver.com ② 열기버튼을 클릭 ③ 파일 선택 ④ 편집 후 저장

TensorFlow Lite 개념 TensorFlow Lite는 모바일과 IoT 기기에 딥러닝 모델을 배포하고 추론하기 위해 구글에서 만든 라이브러리이다. 간단히 말하자면, TFLite를 이용하여 TensorFlow 모델을 안드로이드, iOS, 임베디드 기기에서 사용할 수 있도록 모델을 변환할 수 있다. 이러한 기기에서 사용하기 위해서는 컴퓨팅 리소스가 제한적이기 때문에 이를 위해 TFLite는 모델을 경량화해준다고 보면 된다. TFLite는 모델을 변환하는 Converter와 변환된 모델을 실제로 동작시키는 Interpreter로 이루어져있다. Converter는 파이썬 개발환경에서 사용하고, Interpreter는 사용하려는 기기와 동일한 환경에서 사용된다. 그리고 중요한 특징 중 하나는 양자화를 지..

블로그를 2015년 부터 꾸준하게 운영해오면서 IT 관련된 글(특히 AI와 관련된 글들)을 주로 업로드 해왔는데, 열심히 운영해오다보니 어느덧 평일 기준 하루 방문자가 3,000명을 넘어섰다. (주말엔 1,000명 조금 안되는게 함정이지만...) 이렇게 블로그를 운영하면서 개인 이메일로 메일이 심심치 않게 오는데, 코드가 안돌아가요 부터 시작해서(심지어 내 코드도 아님ㅋㅋ) 블로그 운영 팁을 물어보시는 분도 계셨고, 대부분의 질문들은 본인이 진행하는 프로젝트에서 어떤 방법론으로 접근하면 좋을지 조언을 구하시는 분들, Pose Estimation 내용 및 YOLO 모델에 관한 질문들, 자소서 첨삭을 비롯한 개인적인 커리어에 대한 고민들이 가장 많았다. 누군가는 귀찮다고 생각할수도 있겠지만, 나는 이러한 질..

이 레포에서 Machine Learning 관련된 레포들을 지속적으로 업데이트 해주고 있다. 깔끔한 정리도 한 몫 했지만, 무엇보다 어떤 분야에 대해 전혀 모를 때 꽤 도움이 많이 될 것 같다. https://github.com/ml-tooling/best-of-ml-python GitHub - ml-tooling/best-of-ml-python: 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly. 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly. - GitHub - ml-tooling/best-of-ml-python: 🏆 A r..

구글 앱스 스크립트(GAS, Google Apps Script)는 구글이 제공하는 스프레드시트, 지메일, 드라이브, 캘린더, 문서, 프레젠테이션 등의 구글 서비스들을 자동화하고 연동할 수 있는 스크립트이다. 스프레드시트에서 테이블을 만들고, 지메일에서 알림 메일을 보내고, 드라이브의 폴더나 파일을 정리하고, 캘린더에 이벤트를 등록하고, 문서로 회의록 템플릿을 만들어 번역하는 등의 작업을 프로그래밍으로 할 수 있다. 무엇보다 중요한건 이러한 GAS를 사용하는데 서버나 환경 등을 구글이 모두 제공하며, 누구나 무료로 이용할 수 있다고 한다. 🙂 제 1장에서는 구글 앱스 스크립트 기본지식을 제공하고, 2장에서는 스크립트 편집기와 대시보드 기능들을 설명한다. 3장에서는 기본 문법에 대해 다루며, 4장에서는 제어..

Paper : https://arxiv.org/abs/2207.02425 Self-Constrained Inference Optimization on Structural Groups for Human Pose Estimation We observe that human poses exhibit strong group-wise structural correlation and spatial coupling between keypoints due to the biological constraints of different body parts. This group-wise structural correlation can be explored to improve the accuracy an arxiv.org 이번에..

Paper : https://arxiv.org/abs/2111.08557 Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation In keypoint estimation tasks such as human pose estimation, heatmap-based regression is the dominant approach despite possessing notable drawbacks: heatmaps intrinsically suffer from quantization error and require excessive computation to ge..