https://follow-your-emoji.github.io/ Follow-Your-Emoji: Freestyle Portrait AnimationAbstract We present Follow-Your-Emoji, a diffusion-based framework for portrait animation, which animates a reference portrait with target landmark sequences. The main challenge of portrait animation is to preserve the identity of the reference portrait anfollow-your-emoji.github.io     내가 존경하는 Ailing Zeng 께서 참여한..

저번 블로그 글에서는 Microsoft Azure를 통해 Prompt Flow를 구성해보는 예제를 실행해보았다. 이번에는 Cognitive search를 통해 Custom RAG 노드를 구성하는 방법에 대해 기록해보려고 한다. prompt flow github에 RAG 예제를 찾아봤는데 아직 예제 코드가 업로드 되기 전이라 직접 구성해보았다.   0. Cognitive search connection  먼저, RAG 노드를 구성하기 위해서는 Azure OpenAI, Cognitive search Connection 이 필요하다. (유료 리소스 플랜 필요)  api_key 와 api_base 그리고 name을 설정해주면 된다. api_key 및 api_base는 Microsoft Azure 계정에서 확인할..

0. Prompt Flow 란?Prompt flow는 아이디어 구상, 프로토타이핑, 테스트, 평가부터 프로덕션 배포 및 모니터링에 이르기까지 LLM 기반 AI 애플리케이션의 엔드투엔드 개발 주기를 간소화하도록 설계된 개발 도구 모음이다. Prompt Flow를 통해 엔지니어링을 쉽고 빠르게 수행할 수 있으며, LLM 어플리케이션을 구축할 수 있다. 이는 Microsoft에서 출시된 Azure AI를 이용하여 Prompt Flow를 구성할 수 있다.   1. 개발환경 설정 conda create --name pf python=3.9conda activate pf  2. prompt flow 설치하기  pip install promptflow promptflow-tools  3. promptflow 버전 체..

리소스를 찾을 수 없다는 메세지가 나올 때는 아래 문서를 참고하여 해결하도록 하자. 제일 추천하는 방법은 리소스 속성을 확인하는 것이다. 나같은 경우는 api_base 값이 잘못들어가 있었다. https://learn.microsoft.com/ko-kr/azure/azure-resource-manager/troubleshooting/error-not-found?tabs=bicep 리소스를 찾을 수 없는 오류 - Azure Resource Manager 리소스를 찾을 수 없을 때 오류를 해결하는 방법을 설명합니다. Bicep 파일 또는 Azure Resource Manager 템플릿을 배포하거나 관리 작업을 수행할 때 오류가 발생할 수 있습니다. learn.microsoft.com

Microsoft Azure를 통해 Cognitive Search Service가 포함된 PromprtFlow를 구성 할 때, 아래와 같은 에러가 날 수 있다. To fix this issue, you need to select a plan of Semantic Search and enable the service in your Cognitive Search Service. 이 문제를 해결하려면 의미 체계 검색 계획을 선택하고 Cognitive Search Service에서 서비스를 활성화해야 합니다. 이럴 때는 아래와 같이 Microsoft Azure에서 설정을 변경하면 된다. 스택오버플로우나 공식 문서를 보면 Semantic search (Preview)를 찾으면 된다는데 한참 찾아도 없어서 보니 "..

Paper : https://arxiv.org/pdf/2404.05719.pdf 요즘 애플이 기존 인력을 AI 인력으로 재배치 하는 등 작정하고 4억 원 이상의 연봉을 제시하며 AI 인력 확보에 사활을 걸고 있다고 한다. 게다가 논문을 안내기로 유명했던 애플인데, Apple Research 결과를 보면 심심치 않게 논문이 쏟아져나오고 있는 상황이다. 그래서 나는 애플이 앞으로 어떤걸 보여줄지 개인적으로 많은 기대를 걸고 있다. (빨리 아이폰에 기깔난 AI 심어줘...) 애플이 앞으로 어떤걸 내놓을지 조금은 유추가능할만한 논문이 나왔다. 바로 Ferret-UI 라는 것이다. 요즘 나오는 multimodal large language models (MLLMs) 중에 사용자 인터페이스 화면을 이해하고 효과적..

우선 RLHF(Reinforcement Learning form Human Feedback)은 인간 피드백 기반 강화학습이라는 뜻이다. 이는 ChatGPT에 적용되는 내용이며, 총 3가지 단계로 나뉜다. 즉, 사람과 같은 대답을 만들어 내기 위해 Human Preference를 고려하여 학습을 한 것이다. RLHF(Reinforcement Learning form Human Feedback) 아래 내용은 openAI에서 제안한 Fine-Tuning Language Models from Human Preferences 논문에서 가져온 내용에 기반한다. 1. Supervised Fine-Tuning (SFT) 인간이 의도하는 것을 학습시키기 위해 인간 Labeler 또는 Trainer가 선별한 적은 양의 샘..

Overview 얼마전 Google DeepMind에서 "Patch n’ Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution" 라는 논문이 나왔습니다. 기존 컴퓨터 비전 모델에서는 이미지를 처리하기 전에 고정된 해상도로 이미지 크기를 설정하게 되고, ViT(Vision Transformer)와 같은 모델은 flexible sequence-based modeling을 하기 때문에 다양한 input sequence length를 제공하게 됩니다. 본 논문에서는 임의의 해상도와 종횡비(aspect ratio)를 처리하기 위해 학습 중에 sequence packing을 사용하는 NaViT(Native Resolution ViT)를 제안합니..

Project page : https://disco-dance.github.io/ DISCO: Disentangled Control for Referring Human Dance Generation in Real World Generative AI has made significant strides in computer vision, particularly in image/video synthesis conditioned on text descriptions. Despite the advancements, it remains challenging especially in the generation of human-centric content such as dance synt disco-dance.gith..

생성 모델은 해당 데이터의 분포를 따르는 기존에는 없던 새로운 데이터를 생성해내는 모델이다. 생성모델은 데이터의 분포를 학습하게 되는데, 데이터는 Latent Space를 가지고 있으며 학습 할 때 이 Latent Space를 학습하는 것이라고 할 수 있다. 참고로 latent는 데이터가 가지고 있는 잠재적인 변수를 뜻한다. Latent Vector는 한 이미지가 가지고 있는 잠재적인 벡터 형태의 변수이고, Latent Vector들이 모여서 latent space가 형성이 되는 것이다. Latent Space에는 우리가 학습시킬 이미지들이 Latent Vector의 분포 형태로 존재하게 되고 모델을 통해서 이미지가 가지고 있는 Latent의 분포를 학습하게 된다. 기존의 이미지 분류, 탐지 모델들은 이..

오늘 리뷰할 논문은 ControlNet 입니다. Stable Diffusion 구조를 이용하여 specific-task condition을 학습 할 수 있도록 한 end-to-end 모델입니다. ControlNet의 핵심은 Zero Convolution이라고 할 수 있겠네요. 이번 리뷰 논문은 pdf로 작업했기 때문에 이미지로 대체하여 업로드 합니다. 🫶

Paper : https://arxiv.org/pdf/2303.11579v1.pdf GitHub : https://github.com/patrick-swk/d3dp GitHub - paTRICK-swk/D3DP: The PyTorch implementation for "Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggreg The PyTorch implementation for "Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation" - GitHub - paTRICK-swk/D3DP: The PyTorch implementation for "Diffusio..