Archive/Computer Vision Basics 2023.02.22

[Paper Reveiw] NMS Strikes Back

Paper : https://arxiv.org/pdf/2212.06137.pdf GitHub : https://github.com/jozhang97/DETA GitHub - jozhang97/DETA: Detection Transformers with Assignment Detection Transformers with Assignment. Contribute to jozhang97/DETA development by creating an account on GitHub. github.com Introduction 오늘 읽어볼 논문은 2022년 12월 쯤 나온 "NMS Strikes Back" 라는 논문입니다. Object Detection 모델 중 DETR(Detection Transformer)라는 ..
AI Engineering/Human Understanding 2023.02.20

[Paper Review] SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation

Paper : https://arxiv.org/abs/2107.03332 GitHub : https://github.com/leeyegy/SimCC GitHub - leeyegy/SimCC: [ECCV'2022 Oral] PyTorch implementation for: SimCC: a Simple Coordinate Classification Perspective for H [ECCV'2022 Oral] PyTorch implementation for: SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation (http://arxiv.org/abs/2107.03332). Old name: SimDR - GitHub -..
AI Engineering/Human Understanding 2023.02.14

[Paper Review] YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss

Paper : https://openaccess.thecvf.com/content/CVPR2022W/ECV/papers/Maji_YOLO-Pose_Enhancing_YOLO_for_Multi_Person_Pose_Estimation_Using_Object_CVPRW_2022_paper.pdf GitHub : https://github.com/TexasInstruments/edgeai-yolov5/tree/yolo-pose GitHub - TexasInstruments/edgeai-yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to TexasInstrumen..
AI Engineering/Human Understanding 2023.02.04

Human Pose Estimation 최신 연구 동향, One-shot(root node based regression) 방법

humanpose estimation 연구 분야에서 접근 방식을 주로 top-down, bottom-up 방법으로 나누곤 하는데요, 이외에도 주목해야할 방식이 있습니다. 바로 one-shot approach 입니다. (CenterAttention 논문에서 나온 표현) one-shot 방법은 bottom-up 기반 방식에서 조금 더 업그레이드 된 버전이라고 보시면 되는데요, 일반적으로 각 root node의 위치를 regression 한 다음 keypoint 위치에 대한 offset을 예측하는 것입니다. 이를 pixel-wise regression이라고도 합니다. 최적화 과정이 필요한 그룹화 과정이 필요없기 때문에 훨씬 inference time이 빠릅니다. 그러나 occlusion 및 scale 변동성에..
AI Engineering/Human Understanding 2023.02.04

[Paper Review] The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation

Paper : https://arxiv.org/abs/2110.05132 The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation We introduce CenterGroup, an attention-based framework to estimate human poses from a set of identity-agnostic keypoints and person center predictions in an image. Our approach uses a transformer to obtain context-aware embeddings for all detected keypoint arx..
AI Engineering/Human Understanding 2023.02.03

Multi-person Pose Estimation 방법

Multi-person Pose Estimation은 아래 그림과 같이 이미지 상에 나타난 여러 사람들에 대한 keypoint 연결 관계를 추론해내는 것입니다. Multi-person Pose Estimation이 어려운 이유는 아래와 같습니다. 1. 여러명의 사람이 다양한 scale과 position에서 등장하는 문제 2. 사람들의 activity 및 interaction 으로 인해 complex pose를 유발됨 3. 여러 사람들의 body part articulation 및 occlusion로 인해 어려움 Top-down multi-people pose estimation 각 사람을 먼저 검출한 다음 검출된 이미지 패치에서 각 사람의 자세를 독립적으로 추정하는 전략입니다. 이러한 접근 방식의 장점은..
AI Engineering/Generative AI 2023.01.19

[Diffusion] SceneDiffuser, Diffusion-based Generation, Optimization, and Planning in 3D Scenes

Project page : https://scenediffuser.github.io/ SceneDiffuser Siyuan Huang1✶✉️ Zan Wang1,2✶ Puhao Li1,3 Baoxiong Jia1 Tengyu Liu1 Yixin Zhu4 Wei Liang2✉️ Song-Chun Zhu1,3,4 ✶ indicates equal contribution ✉️ indicates corresponding authors 1National Key Labor scenediffuser.github.io Video : https://scenediffuser.github.io/assets/illustration-720.mp4 Paper : Diffusion-based Generation, Optimizatio..
Software Engineering/Frameworks & Libraries 2023.01.18

[TFLite] TensorFlow Lite 개념

TensorFlow Lite 개념 TensorFlow Lite는 모바일과 IoT 기기에 딥러닝 모델을 배포하고 추론하기 위해 구글에서 만든 라이브러리이다. 간단히 말하자면, TFLite를 이용하여 TensorFlow 모델을 안드로이드, iOS, 임베디드 기기에서 사용할 수 있도록 모델을 변환할 수 있다. 이러한 기기에서 사용하기 위해서는 컴퓨팅 리소스가 제한적이기 때문에 이를 위해 TFLite는 모델을 경량화해준다고 보면 된다. TFLite는 모델을 변환하는 Converter와 변환된 모델을 실제로 동작시키는 Interpreter로 이루어져있다. Converter는 파이썬 개발환경에서 사용하고, Interpreter는 사용하려는 기기와 동일한 환경에서 사용된다. 그리고 중요한 특징 중 하나는 양자화를 지..