TensorRT 를 처음 접하는 사람들이 보기 딱 좋은 레퍼런스 발견. 계속 업데이트 되고 있는 것 같아서 좋다.
참고자료 1은 ipynb 로 되어있어서 쉽게 따라 해 볼 수 있으며,
참고자료 2는 TensorRT Runtime API 를 사용하는 방법에 대해 나와있다. 둘다 내용은 비슷하다.
(profiling 하는 방법도 자세히 알려줬으면 좋겠다...)
참고자료 1.
https://github.com/NVIDIA/TensorRT/tree/master/quickstart
GitHub - NVIDIA/TensorRT: TensorRT is a C++ library for high performance inference on NVIDIA GPUs and deep learning accelerators
TensorRT is a C++ library for high performance inference on NVIDIA GPUs and deep learning accelerators. - GitHub - NVIDIA/TensorRT: TensorRT is a C++ library for high performance inference on NVIDI...
github.com
참고자료 2.
https://docs.nvidia.com/deeplearning/tensorrt/quick-start-guide/index.html#runtime
Quick Start Guide :: NVIDIA Deep Learning TensorRT Documentation
About this task Note: While the TensorRT packages also contain pip wheel files, those wheel files require the rest of the .deb or .rpm packages to be installed and will not work alone. The standalone pip-installable TensorRT wheel files differ in that they
docs.nvidia.com
참고로 TensorRT 의 Workflow 는 아래와 같다. 이것만 알아도 반 이상은 아는 것이다... ㅎㅎ
'Development & Tools > Frameworks & Libraries' 카테고리의 다른 글
| [TensorFlow Lite] MobileNet v1 모델의 tflite 파일 구조 (0) | 2022.02.23 |
|---|---|
| [PyTorch] 파이토치에서 TensorBoard 사용하기 (3) | 2022.02.04 |
| [ONNX] ONNX Simplifier 사용하여 모델 간소화 하기 (8) | 2021.07.26 |
| [ONNX] Pytorch 모델을 ONNX 모델로 변환 할 때 dynamic_axes 지정하는 방법 (0) | 2021.06.29 |
| [Pytorch] 이미지 데이터세트에 대한 평균(mean)과 표준편차(std) 구하기 (0) | 2021.05.11 |