DistributedDataParallel 사용 시 find_unused_parameters=True 관련 에러
RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has parameters that were not used in producing loss. You can enable unused parameter detection by passing the keyword argument `find_unused_parameters=True` to `torch.nn.parallel.DistributedDataParallel`, and by making sure all `forward` function outputs parti..
2023.11.15
no image
[Human Pose Estimation] A Dataset of Relighted 3D Interacting Hands
Paper : https://arxiv.org/pdf/2310.17768.pdf Project Page: https://mks0601.github.io/ReInterHand/ Re:InterHand Dataset A Dataset of Relighted 3D Interacting Hands (NeurIPS 2023 Datasets and Benchmarks Track) mks0601.github.io Meta Reality Labs Research 에서 나온 데이터세트 Re:InterHand 데이터이다. 두 손이 상호작용 하는 문제는 self-similarity, complicated articulations, and occlusions of hands 문제 때문에 가장 분석하기 어려운 task 중 하나..
2023.11.15
no image
[Diffusion] RLHF 인간 피드백 기반 강화학습 개념 및 Diffusion에 RLHF 방법론 적용
우선 RLHF(Reinforcement Learning form Human Feedback)은 인간 피드백 기반 강화학습이라는 뜻이다. 이는 ChatGPT에 적용되는 내용이며, 총 3가지 단계로 나뉜다. 즉, 사람과 같은 대답을 만들어 내기 위해 Human Preference를 고려하여 학습을 한 것이다. RLHF(Reinforcement Learning form Human Feedback) 아래 내용은 openAI에서 제안한 Fine-Tuning Language Models from Human Preferences 논문에서 가져온 내용에 기반한다. 1. Supervised Fine-Tuning (SFT) 인간이 의도하는 것을 학습시키기 위해 인간 Labeler 또는 Trainer가 선별한 적은 양의 샘..
2023.10.28
no image
[Book Review] 개발자를 위한 실전 선형대수학
한빛미디어에서 출간된 개발자를 위한 실전 선형대수학. 데이터 사이언스 분야와 머신러닝, 딥러닝 등에서 반드시 필요한 선형대수학 개념을 중요한 것만 쏙쏙 뽑아 이론을 이해하기 쉽게 설명하고, 파이썬 코드로 구현하는 방법까지 기술해놓았다. 나또한 현업에서 선형대수학 개념을 접할일이 많은데, 그때 그때마다 개념을 구글링해서 찾아보는데 딱 간결하게 정리된 문서가 별로 없었어서 애를 먹고 있었다. 그런데 이번에 출간된 "개발자를 위한 실전 선형대수학" 책은 알고있던 기존 개념들이나 새로운 개념들을 번거롭게 찾을 필요 없이, 실전에 필요한 내용 위주로 담겨져있고, 복습하는데 많은 시간을 쏟지 않도록 해주는 책이라 좋은 것 같다. 이 책에서는 몇몇 주요 방정식을 암기하거나 추상적인 증명을 파고드는 그런 접근법이 아니..
2023.10.28
[git] fatal: refusing to merge unrelated histories
push 또는 pull 할 때 아래와 같은 에러가 났다. fatal: refusing to merge unrelated histories 이는 git에서 서로 관련 기록이 없는 다른 프로젝트를 병합할 때 이런 에러가 뜬다고 한다. 그래서 이를 허용해주려면 쳤던 명령어에서 아래와 같은 명령어 옵션을 붙여준다. --allow-unrelated-histories
2023.09.27
no image
[Book Review] 개발자의 하루를 바꾸는 코파일럿&챗GPT
이 책에서는 생성형 AI가 나의 페어 프로그래밍 상대가 된다. 깃허브 코파일럿과 ChatGPT가 코드를 제안하고, 질문에 답하고, 간단한 애플리케이션까지 만들어준다고 한다. 이와 관련하여 간단하고 다양한 실습을 통해 업무 효율성을 향상시키기 위한 인사이트까지 제공한다. 책에서 다루는 주제는 소프트웨어 개발에 AI를 활용하는 방법, 셀 스크립팅 명령, 깃 명령, 일반적인 알고리즘, RxJS 학습, 앵귤러 HttpClient, 정규 표현식, 데이터 생성, 애자일 프로젝트 관리, 애플리케이션 만들기 등에 대한 내용을 다루고 있다. 이 책을 보며 어떤 소프트웨어를 개발하든 상관 없이 각자 선호하는 언어로 실습을 따라하면 된다고 한다. 특히 AI 도구는 다양한 활용 사례가 있는데, 예를 들면 일련의 입력과 요구 ..
2023.09.24
no image
이상적인 커리어 - 한기용 CTO님 이야기
얼마 전 현재 Grepp 이라는 회사의 CTO로 계시는 한기용님 강연을 들었다. 한기용님은 컴퓨터공학 학, 석사를 마치고 삼성에서 일하시다가 미국으로 넘어 가신 후 스타트업 창업도 해보시고, 야후에서도 일하시고, 여러 경험들이 많으신 분이다. 예전에 어떤 강연을 보다가 알게되어 그 뒤로 계속 글들을 팔로우업 하고 있는데, 이번 기회에 들은 강연에서 인상 깊게 들은 이야기들을 정리해보고자 한다. 이상적인 커리어는 무엇일까? 다수의 개발자가 생각하는 이상적인 커리어 경로는 개발을 손에서 떼지 않고, 새로운 기술을 계속해서 배우고 싶다고 생각한다. 한기용님이 생각하시는 이상적인 커리어는 기술 지향적인 사람이 되지 말자는 것이었다. 중요한 것은 결과 지향적인 사람이 되어야 한다는 것. 결과 지향적인 사람이란? ..
2023.09.14
no image
[Linux] 기본 명령어
리눅스에서 자주 사용하는 명령어를 정리해보았다. ls (List segments) 현재 위치의 파일 목록 조회하기 위해 사용 ls -l : 파일의 상세정보 ls -a : 숨김 파일 표시 ls -t : 파일들을 생성시간순(제일 최신 것부터)으로 표시 ls -rt : 파일들을 생성시간순(제일 오래된 것부터)으로 표시 ls -f : 파일 표시 시 마지막 유형에 나타내는 파일명을 끝에 표시 ('/' : 디렉터리, '*' : 실행파일, '@' : 링크 등등,,,) cd (Change directory) 디렉터리 이동할 때 주로 사용하는 명령어 cd 디렉터리 경로 : 이동하려는 디렉터리로 이동 cd ~ : 홈 디렉터리로 이동 cd / : 최상위 디렉터리로 이동 cd . : 현재 디렉터리 cd .. : 상위 디렉터리..
2023.09.14
no image
[3D HPS] SMPL-X 모델 관련 자료
SMPL-X 모델은 기존 SMPL 모델(손이나 얼굴에 대한 detail이 떨어지는)에서 확장된 모델이다. 대량의 3D scan data로부터 얼굴과 손까지 포함한 새로운 body model을 구성하였다. 즉, 3가지 모델을 통합하였다. SMPL 모델 + FLAME(head model) + MANO(hand model) 더 내추럴한 결과를 볼 수 있다. joint names 목록은 다음 github에서 볼 수 있다. https://github.com/vchoutas/smplx/blob/main/smplx/joint_names.py SMPL-X 논문은 아래와 같다. https://arxiv.org/abs/1904.05866 Expressive Body Capture: 3D Hands, Face, and Bo..
2023.08.28
no image
[Book Review] 육각형 개발자
육각형 개발자라는 최범균 저자가 집필하였으며, 본인의 이야기를 시작으로 내용이 시작된다. 이 책은 좋은 시니어 개발자가 되길 원하는 주니어 또는 중니어 개발자를 대상으로 하고 있으며, 아래 6가지를 두루 다 갖춘 개발자를 칭하는데 이러한 개발자가 되기 위해서 필요한 덕목 10가지를 소개하고 있다. 에세이와 자기계발서에 가까운 책이다. 1. 구현 기술 2. 업무 관리, 공유, 리드 & 팔로우 3. 리펙토링, 테스트 4. 응집도, 결합도 5. 아키텍처, 패턴 6. 품질, 코드 이해 이 책에서 다루고 있는 내용은 효율적으로 구현 기술을 적용하고 학습하는 방법, 소프트웨어 가치를 이해하고 유지보수 비용을 낮추는 방법, 이해하기 좋은 코드를 작성하는 법, 높은 응집도 + 낮은 결합도 원칙으로 설계하는 방법, 변경..
2023.08.27
no image
[Paper Review] Effective Whole-body Pose Estimation with Two-stages Distillation
Paper : https://arxiv.org/abs/2307.15880 Effective Whole-body Pose Estimation with Two-stages Distillation Whole-body pose estimation localizes the human body, hand, face, and foot keypoints in an image. This task is challenging due to multi-scale body parts, fine-grained localization for low-resolution regions, and data scarcity. Meanwhile, applying a highly e arxiv.org GitHub : https://github...
2023.08.18
no image
[Model Optimization] ModelBench app
https://github.com/apple/ml-mobileone/tree/main/ModelBench
2023.08.18