ResNet 이번에 볼 Backbone은 ResNet입니다. 원 논문은 "Deep Residual Learning for Image Recognition" 이고, 벌써 인용 수가 160,317회나 되네요. 저자는 Kaiming He 입니다. 굉장히 유명하신 분이죠. 무려 Microsoft Research 의 결과물이네요. ResNet의 구조 단순 convolutional neural network에서 Layer를 무작정 늘렸을 때 성능이 오히려 떨어진다고 합니다. 그래서 나온 개념이 ResNet의 핵심 아이디어인 Residual block 입니다. 이는 H(x)를 기존의 네트워크라고 할 때, H(x)를 복잡한 함수에 근사시키는 것 보다 F(x) := H(x) - x일 때, H(x) = F(x) + x이고..

Paper : https://arxiv.org/abs/1409.1556 VGGNet VGGNet은 옥스포드 대학의 연구팀 VGG에 의해 개발된 모델로써, 2014년 이미지넷 이미지 인식 대회에서 준우승을 한 모델이며, 특히 VGG-16 모델은 ImageNet Challenge에서 Top-5 테스트 정확도를 92.7% 달성했습니다. 딥러닝 역사적으로 보았을 때 신경망의 깊이가 이 때 부터 깊어졌다고 하네요. VGG 뜻은 Visual Geometry Group이며, 논문 명은 "Very Deep Convolutional Networks for Large-Scale Image Recognition" 입니다. vgg 관련 pytorch 공식 문서에서 보시면 VGG16 외에 VGG11, 13, 19 등이 있습니다..

AlexNet AlexNet은 무려 2012년에 개최된 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회의 우승을 차지한 컨볼루션 신경망(CNN) 구조입니다. AlexNet 논문명은 "ImageNet Classification with Deep Convolutional Neural Networks"이고, 이 논문의 첫번째 저자가 Alex Khrizevsky이기 때문에 그의 이름을 따서 AlexNet이라고 부른다고 합니다. 무려 현재 기준 130,639회 인용이네요. 후덜덜... 저자 Alex를 Google Scholar에 쳐보니 간간히 논문이 나오고 있습니다. Image Classification task에서 유명한 데이터세트인 CIFAR-10 ..

Paper : https://ieeexplore.ieee.org/abstract/document/726791 Convolutional Neural Network 연구의 시초라고 할 수 있는 LeNet 입니다. 논문 제목은 "Gradient-based learning applied to document recognition" 이며, 인용 수가 무려 54,056회나 되고, 1998년에 처음 공개되었습니다. LeNet은 CNN을 처음으로 개발한 얀 르쿤(Yann Lecun) 연구팀이 1998년에 개발한 CNN 알고리즘의 이름입니다. LeNet-5의 구조 LeNet-5의 구조는 아래와 같습니다. 3개의 Conv Layer (C1, C3, C5)로 구성되어 있으며, 2개의 Sub-sampling Layer(S2,..

pre-trained model의 일부분만 바꿔서 모델을 학습시키려고 할 때 pre-trained model의 파라미터 일부를 가져와 현재 모델의 state dict을 업데이트 하여 학습해야한다. 즉, pre-trained model의 파라미터를 로드하고, 현재 모델에 덮어 씌워주는 과정이다. 먼저, 아래와 같이 pre-trained model과 현재 model을 각각 로드해준다. pretrained_dict = torch.load(PATH) # pretrained 모델 static dict 로드 model_dict = model.state_dict() # 현재 모델 state dict 로드 그 다음 아래와 같이 pre-trained model의 값들 중에서 현재 model의 state dict과 일치하..

Paper : https://arxiv.org/pdf/2206.04040.pdf GitHub : https://github.com/apple/ml-mobileone

GitHub : https://github.com/protossw512/AdaptiveWingLoss Paper : https://arxiv.org/abs/1904.07399 이번에 리뷰할 논문은 ICCV 2019에 소개되었던 Adaptive Wing Loss 논문입니다. Introduction 본 논문에서는 face alignment (= facial landmark localization)문제에 대해 heatmap regression 방법을 사용할 때 효과적인 Adaptive Wing loss를 소개합니다. 이 loss function은 foreground pixel과 background pixel의 불균형 문제를 해결하기 위해 등장하였고, 여기서 Adaptive가 의미하는 바는 background ..

Paper : https://arxiv.org/pdf/2303.11579v1.pdf GitHub : https://github.com/patrick-swk/d3dp GitHub - paTRICK-swk/D3DP: The PyTorch implementation for "Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggreg The PyTorch implementation for "Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation" - GitHub - paTRICK-swk/D3DP: The PyTorch implementation for "Diffusio..

한빛미디어에서 출간된 온디바이스 AI (AI and Machine Learning for On-Device Development) 책은 모바일용 ML 개발을 위한 내용들을 담고있다. ML 모델을 직접 만들지 않더라도 ML Kit를 사용하여 모델을 만들수 있으며, 모바일 환경에서 최적화 까지 하여 사용할 수 있도록 폭 넓은 분야를 다루고 있다. 뿐만 아니라 TFLite, Core ML 분야는 한글 자료가 별로 없다는 것이 단점인데, 이 책에서 한글로 모바일 환경에서 모델을 이용하여 추론하는 방법들을 아주 자세히 다뤄주고 있어서 꽤 유용했다. 특히 8장 TFLite 더 깊게 이해하기 챕터에서는 TFLite 개념부터 시작하여 모델 저장하기, 모델 변환하기, 독립 실행형 인터프리터로 모델 테스트하는 방법을 다루..

Paper : https://arxiv.org/pdf/2303.07399v1.pdf GitHub : https://github.com/open-mmlab/mmpose/tree/1.x/projects/rtmpose GitHub - open-mmlab/mmpose: OpenMMLab Pose Estimation Toolbox and Benchmark. OpenMMLab Pose Estimation Toolbox and Benchmark. Contribute to open-mmlab/mmpose development by creating an account on GitHub. github.com 오늘 리뷰할 논문은 Shanghai AI Lab에서 소개한 "RTMPose: Real-Time Multi-Perso..

GitHub : https://github.com/xingyizhou/CenterNet GitHub - xingyizhou/CenterNet: Object detection, 3D detection, and pose estimation using center point detection: Object detection, 3D detection, and pose estimation using center point detection: - GitHub - xingyizhou/CenterNet: Object detection, 3D detection, and pose estimation using center point detection: github.com Paper : https://arxiv.org/pd..

혼자 공부하는 데이터 분석 책은 한빛미디어에서 출간되었는데, 혼자서도 실무에 써먹을 수 있을 만한 수준까지 할 수 있도록 로드맵을 제시하고 있기 때문에 입문용으로 딱 좋은 책 같다. 데이터 분석은 데이터를 수집, 처리, 정제, 분석, 모델링하여 의사 결정을 내리는데 도움을 주는 작업이다. 보통 R이나 파이썬을 사용해서 하게 되는데, 이 책은 파이썬 기준으로 작성되어있다. 데이터 분석의 기본은 데이터를 다루는 것 부터 시작하는데, 이 책에서는 파이썬에서 JSON 및 XML 데이터를 다루는 것을 포함하여 기본부터 탄탄히 설명해두었다. 또한 데이터를 수정하고 삭제하는 등의 데이터 정제하는 방법과 데이터의 분산을 구하고, 표준편차를 구하는 등 데이터를 요약하는 기능에 대해서도 수록해두었다. 데이터 분석에 대한 ..