AI Engineering/Generative AI 2023.07.07

[Diffusion] 생성모델에서의 Latent Space, Latent Space Vector 개념

생성 모델은 해당 데이터의 분포를 따르는 기존에는 없던 새로운 데이터를 생성해내는 모델이다. 생성모델은 데이터의 분포를 학습하게 되는데, 데이터는 Latent Space를 가지고 있으며 학습 할 때 이 Latent Space를 학습하는 것이라고 할 수 있다. 참고로 latent는 데이터가 가지고 있는 잠재적인 변수를 뜻한다. Latent Vector는 한 이미지가 가지고 있는 잠재적인 벡터 형태의 변수이고, Latent Vector들이 모여서 latent space가 형성이 되는 것이다. Latent Space에는 우리가 학습시킬 이미지들이 Latent Vector의 분포 형태로 존재하게 되고 모델을 통해서 이미지가 가지고 있는 Latent의 분포를 학습하게 된다. 기존의 이미지 분류, 탐지 모델들은 이..

AI Engineering/Generative AI 2023.07.07

[Diffusion] ControlNet, Adding Conditional Control to Text-to-Image Diffusion Models

오늘 리뷰할 논문은 ControlNet 입니다. Stable Diffusion 구조를 이용하여 specific-task condition을 학습 할 수 있도록 한 end-to-end 모델입니다. ControlNet의 핵심은 Zero Convolution이라고 할 수 있겠네요. 이번 리뷰 논문은 pdf로 작업했기 때문에 이미지로 대체하여 업로드 합니다. 🫶

AI Engineering/Generative AI 2023.03.24

[Paper Review] Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation

Paper : https://arxiv.org/pdf/2303.11579v1.pdf GitHub : https://github.com/patrick-swk/d3dp GitHub - paTRICK-swk/D3DP: The PyTorch implementation for "Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggreg The PyTorch implementation for "Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation" - GitHub - paTRICK-swk/D3DP: The PyTorch implementation for "Diffusio..

AI Engineering/Generative AI 2023.01.19

[Diffusion] SceneDiffuser, Diffusion-based Generation, Optimization, and Planning in 3D Scenes

Project page : https://scenediffuser.github.io/ SceneDiffuser Siyuan Huang1✶✉️ Zan Wang1,2✶ Puhao Li1,3 Baoxiong Jia1 Tengyu Liu1 Yixin Zhu4 Wei Liang2✉️ Song-Chun Zhu1,3,4 ✶ indicates equal contribution ✉️ indicates corresponding authors 1National Key Labor scenediffuser.github.io Video : https://scenediffuser.github.io/assets/illustration-720.mp4 Paper : Diffusion-based Generation, Optimizatio..