https://github.com/apple/ml-mobileone/tree/main/ModelBench

Paper : https://arxiv.org/abs/2303.14189 FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization The recent amalgamation of transformer and convolutional designs has led to steady improvements in accuracy and efficiency of the models. In this work, we introduce FastViT, a hybrid vision transformer architecture that obtains the state-of-the-art latency arxiv.org GitHub : htt..

Overview 오늘 리뷰할 논문은 NVIDIA, University of Toronto, Vector Institute, MIT에서 낸 "DreamTeacher: Pretraining Image Backbones with Deep Generative Models" 입니다. ICCV 2023에 채택되었네요. 이 논문에서는 downstream image backbone을 사전 학습 하기 위해 generative network를 활용하는 DreamTeacher 기법을 소개합니다. 즉, 생성 모델의 knowledge를 특정 인식 작업을 위해 잘 설계된 standard image backbone으로 추출하는거죠. 어떻게 보면 역으로 사용했다고 보면 되네요. 먼저 label-efficient semantic se..

Paper : https://arxiv.org/abs/2304.11267 Blog : https://ai.googleblog.com/2023/06/speed-is-all-you-need-on-device.html Speed is all you need: On-device acceleration of large diffusion models via GPU-aware optimizations Posted by Juhyun Lee and Raman Sarokin, Software Engineers, Core Systems & Experiences The proliferation of large diffusion models for image generation has led to a significant in..

Paper : https://arxiv.org/abs/2305.12972 GitHub : https://github.com/huawei-noah/VanillaNet GitHub - huawei-noah/VanillaNet Contribute to huawei-noah/VanillaNet development by creating an account on GitHub. github.com 오늘 리뷰할 논문은 얼마 전 등장한 VanillaNet 입니다. (참고로 Vanilla 라는 뜻은 without any customization 이라는 의미를 가지고 있습니다. default, ordinary, basic의 의미라고 보시면 됩니다.) 원래 backbone의 정설은 레이어가 복잡하고, 깊을 수록 좋은 성능을..

ResNet 이번에 볼 Backbone은 ResNet입니다. 원 논문은 "Deep Residual Learning for Image Recognition" 이고, 벌써 인용 수가 160,317회나 되네요. 저자는 Kaiming He 입니다. 굉장히 유명하신 분이죠. 무려 Microsoft Research 의 결과물이네요. ResNet의 구조 단순 convolutional neural network에서 Layer를 무작정 늘렸을 때 성능이 오히려 떨어진다고 합니다. 그래서 나온 개념이 ResNet의 핵심 아이디어인 Residual block 입니다. 이는 H(x)를 기존의 네트워크라고 할 때, H(x)를 복잡한 함수에 근사시키는 것 보다 F(x) := H(x) - x일 때, H(x) = F(x) + x이고..

Paper : https://arxiv.org/abs/1409.1556 VGGNet VGGNet은 옥스포드 대학의 연구팀 VGG에 의해 개발된 모델로써, 2014년 이미지넷 이미지 인식 대회에서 준우승을 한 모델이며, 특히 VGG-16 모델은 ImageNet Challenge에서 Top-5 테스트 정확도를 92.7% 달성했습니다. 딥러닝 역사적으로 보았을 때 신경망의 깊이가 이 때 부터 깊어졌다고 하네요. VGG 뜻은 Visual Geometry Group이며, 논문 명은 "Very Deep Convolutional Networks for Large-Scale Image Recognition" 입니다. vgg 관련 pytorch 공식 문서에서 보시면 VGG16 외에 VGG11, 13, 19 등이 있습니다..

AlexNet AlexNet은 무려 2012년에 개최된 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회의 우승을 차지한 컨볼루션 신경망(CNN) 구조입니다. AlexNet 논문명은 "ImageNet Classification with Deep Convolutional Neural Networks"이고, 이 논문의 첫번째 저자가 Alex Khrizevsky이기 때문에 그의 이름을 따서 AlexNet이라고 부른다고 합니다. 무려 현재 기준 130,639회 인용이네요. 후덜덜... 저자 Alex를 Google Scholar에 쳐보니 간간히 논문이 나오고 있습니다. Image Classification task에서 유명한 데이터세트인 CIFAR-10 ..

Paper : https://ieeexplore.ieee.org/abstract/document/726791 Convolutional Neural Network 연구의 시초라고 할 수 있는 LeNet 입니다. 논문 제목은 "Gradient-based learning applied to document recognition" 이며, 인용 수가 무려 54,056회나 되고, 1998년에 처음 공개되었습니다. LeNet은 CNN을 처음으로 개발한 얀 르쿤(Yann Lecun) 연구팀이 1998년에 개발한 CNN 알고리즘의 이름입니다. LeNet-5의 구조 LeNet-5의 구조는 아래와 같습니다. 3개의 Conv Layer (C1, C3, C5)로 구성되어 있으며, 2개의 Sub-sampling Layer(S2,..

Paper : https://arxiv.org/pdf/2206.04040.pdf GitHub : https://github.com/apple/ml-mobileone

Gradient clipping 을 하는 이유는 한마디로 학습 중 Gradient Vanishing 또는 Exploding 이 발생하는 것을 방지하여 학습을 안정화 시키기 위함이다. 학습하고자 하는 모델이 RNN 이나 DNN 같은 강한 비선형 목적함수를 가지고 있을 경우에에 미분값은 매우 크거나 작아지는 경향이 있다. 이러한 결과는 여러개의 큰 가중치값을 곱할때 생기게 되는데, 이러한 가파른 지역에 다다르게되면, Backpropagation 과정에서의 Gradient Update Step 에서 파라미터들이 굉장히 크게 움직일 수 있다. 파라미터들이 크게 움직이게 되면 여태 진행했던 학습 Epoch 들이 무효화 될 수 있다. 즉 모델 학습 시 loss nan 문제를 겪을 수 있다. Gradient는 현재 ..

딥러닝에서 사용되는 다양한 손실 함수를 구현해 놓은 좋은 Github 를 아래와 같이 소개한다. github.com/CoinCheung/pytorch-loss CoinCheung/pytorch-loss label-smooth, amsoftmax, focal-loss, triplet-loss. Maybe useful - CoinCheung/pytorch-loss github.com from pytorch_loss import SwishV1, SwishV2, SwishV3 from pytorch_loss import HSwishV1, HSwishV2, HSwishV3 from pytorch_loss import MishV1, MishV2, MishV3 from pytorch_loss import conver..