공개되어있는 모델을 TensorRT Engine으로 변환하고, trtexec 에 있는 dumpProfile 플래그를 이용하여 Layer 마다 Profile 해본 결과는 아래와 같다. 이를 이용하여 원하는 속도가 나오도록 모델을 적절하게 만들면 될 듯 하다. time 뿐만 아니라 memory 또는 GPU Utilization도 확인하는 방법이 있는지 찾아봐야겠다. 참고로 Profile에 나와있는 PWN은 PointWiseNode이다. ​ ... 참고자료 1 : https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#trtexec Developer Guide :: NVIDIA Deep Learning TensorRT Documenta..

NVIDIA TAO Toolkit User Guide : https://docs.nvidia.com/tao/tao-toolkit/index.html TAO Toolkit — TAO Toolkit 3.21.11 documentation © Copyright 2021, NVIDIA. Last updated on Nov 29, 2021. docs.nvidia.com NVIDIA TAO Toolkit Release Notes : https://docs.nvidia.com/tao/tao-toolkit/text/release_notes.html Release Notes — TAO Toolkit 3.21.11 documentation Release Contents Components included in this r..

NVIDIA Jetson Benchmarks 참고자료 https://developer.nvidia.com/embedded/jetson-benchmarks Jetson Benchmarks Jetson is used to deploy a wide range of popular DNN models and ML frameworks to the edge with high performance inferencing, for tasks like real-time classification and object detection, pose estimation, semantic segmentation, and natural language processi developer.nvidia.com Jetson is used t..

Google Research에서 TensorFlow.js 로 경량화된 자세 추정 모델인 MoveNet의 API를 공개하였습니다. 랩탑 환경에서도 30FPS 이상 달성한다고 합니다. 참고로 이를 기반으로 홈트레이닝 분야에 적용을 한 국내 논문 "딥러닝 기반 영상처리 기법 및 표준 운동 프로그램을 활용한 비대면 온라인 홈트레이닝 어플리케이션 연구"도 있네요. MoveNet은 17개의 keypoint를 감지하는 모델이며, 정확도에 초점을 맞춘 Thunder 버전과 속도에 초점을 맞춘 Lightning 버전을 제공하고 있습니다. 또한 JS 모델과 TF모델 및 TFLite모델(+ float16, int8)들을 제공하고 있습니다. 서버 호출 없이도 TensorFlow.js를 사용하는 브라우저에서 모델을 실행할 수 ..

김나영 팬이라 관련된 방송이나 유튜브를 많이 보는데, 내가 키운다 라는 프로그램에서 김나영이 아들 신우에게 두발 자전거를 알려주는 과정에서 나온 말이 너무 인상적이라 캡쳐해두었다! ☺️

ONNX를 TRT로 변환하면 아래와 같은 Warning 메세지가 뜬다. Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32. 성능상의 손실은 없는 것으로 판단되나 정말 성능에 영향이 없는지 실험이 필요하다. 왜 뜨는 것일까? 관련 이슈 : https://github.com/onnx/tensorflow-onnx/issues/883#issuecomment-614561227 Your ONNX model has been generated with INT64 weights, while TensorRT does not nati..

한빛미디어에서 "비전 시스템을 위한 딥러닝" 이라는 책이 출간되었다. 개인적으로 딥러닝 책은 영상, 음성, 자연어 등의 분야들이 모두 포함되어 있는 책이 많았어서 오로지 "컴퓨터 비전"만을 위한 책이 발간됬다는 소식이 무척이나 반가웠다! 🥰 컴퓨터비전이란 이 책에서도 말하고 있듯 "생물의 시각을 모사한다"라는 목표를 지향하는 기술 분야이다. 즉 인간의 눈으로 인지하는 모든 것들을 위한 기술이라고 말할 수 있다. 컴퓨터 비전이라는 연구분야는 결과물이 정적인 이미지나 동적인 영상으로 눈에 가시적으로 보이니까 더 흥미로운 분야인 것 같다. 한빛미디어에서 출간된 비전 시스템을 위한 딥러닝이라는 책의 목차는 다음과 같이 알짜배기만 쏙 담긴 구성으로 이루어져있다. 초보자를 위한 신경망과 딥러닝의 기초 사물 분류 및..

PyTorch 1.6.0 / ONNX opset 10, 11 / TensorRT 7.2.2.3 환경에서 파이토치의 어떤 모델을 ONNX 모델로 변환하고, ONNX 모델을 TensorRT 모델(+ Dynamic Shape)로 변환한 뒤 Python, C++ 각 환경에서 사용하고자 할 때 아래와 같이 Engine Serialization를 못하는 문제가 발생하였었다. 결론부터 말하자면 TensorRT에서는 Group Normalization을 지원하지 않는다. PyTorch에서 Group Normalization을 사용하게 되면 ONNX와 TensorRT에서 Instance Normalization 노드가 생기게 되는데 이는 TensorRT 에서 지원하지 않는다. Custom Plugin 을 생성해줘야한다...

https://github.com/tensorflow/models/blob/master/research/slim/nets/mobilenet_v1.md GitHub - tensorflow/models: Models and examples built with TensorFlow Models and examples built with TensorFlow. Contribute to tensorflow/models development by creating an account on GitHub. github.com 위 GitHub 에서 다운 받은 mobilenet_v1_1.0_224_quantized_1_metadata_1.tflite 을 netron 에서 확인해보았다. 아래와 같이 구성되어 있으며, type이 ..

TensorFlow Lite 파일을 interpreter로 읽어들이는데 다음과 같은 Warning 이 자꾸 떴다. /home/name/.local/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:526: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. _np_qint8 = np.dtype([("qint8", np.int8, 1)]) /home/name/.local/lib/python3.6/site-..

참고자료 : https://www.nvidia.com/docs/IO/116711/sc11-cuda-c-basics.pdf

어떤 이미지에서 특정 객체의 사이즈를 측정하고 싶은데, 복잡한 이미지 편집 프로그램을 깔기 귀찮을 때 사용하기 좋은 툴이 있습니다. 이미지의 특정 객체 사이즈를 측정하고 싶을 때 스크린샷을 떠서 아래 페이지에서 복붙 하고, 드래그하여 픽셀 사이즈를 측정 할 수 있습니다. https://www.rapidtables.com/web/tools/pixel-ruler.html 제가 자주 사용하는 프로그램들의 아이콘의 사이즈를 측정해보았습니다. 40x40 pixel 네요. 그 외에 웹 페이지에서 사이즈를 측정할 수 있는 크롬 확장 프로그램도 있습니다. https://chrome.google.com/webstore/detail/page-ruler-redux/giejhjebcalaheckengmchjekofhhmal ..