TensorRT 를 처음 접하는 사람들이 보기 딱 좋은 레퍼런스 발견. 계속 업데이트 되고 있는 것 같아서 좋다.
참고자료 1은 ipynb 로 되어있어서 쉽게 따라 해 볼 수 있으며,
참고자료 2는 TensorRT Runtime API 를 사용하는 방법에 대해 나와있다. 둘다 내용은 비슷하다.
(profiling 하는 방법도 자세히 알려줬으면 좋겠다...)
참고자료 1.
https://github.com/NVIDIA/TensorRT/tree/master/quickstart
GitHub - NVIDIA/TensorRT: TensorRT is a C++ library for high performance inference on NVIDIA GPUs and deep learning accelerators
TensorRT is a C++ library for high performance inference on NVIDIA GPUs and deep learning accelerators. - GitHub - NVIDIA/TensorRT: TensorRT is a C++ library for high performance inference on NVIDI...
github.com
참고자료 2.
https://docs.nvidia.com/deeplearning/tensorrt/quick-start-guide/index.html#runtime
Quick Start Guide :: NVIDIA Deep Learning TensorRT Documentation
About this task Note: While the TensorRT packages also contain pip wheel files, those wheel files require the rest of the .deb or .rpm packages to be installed and will not work alone. The standalone pip-installable TensorRT wheel files differ in that they
docs.nvidia.com
참고로 TensorRT 의 Workflow 는 아래와 같다. 이것만 알아도 반 이상은 아는 것이다... ㅎㅎ
