728x90
반응형
1. TensorRT 를 설치
2020.04.21 - [AI Development/TensorRT] - [TensorRT] NVIDIA TensorRT 개념, 설치방법, 사용하기
2. /usr/src/tensorrt/samples 에서 make 하여 빌드하기
3. /usr/src/tensorrt/bin 에 실행파일 생성됨
4. /usr/src/tensorrt/bin/trtexec 실행
$ /usr/src/tensorrt/bin/trtexec --help
아래와 같이 사용할 수 있는 명령어 확인
$ ./trtexec --help
- 모델 변환 시 saveEngine 을 지정하여 모델을 저장 가능
- 모델 실행 시 loadEngine 을 지정하여 모델 테스트 가능 (속도 테스트)
- INT8 Calibration 캐시 생성 기능은 지원하지 않으며, calibration cache file 이 존재한다면 이를 이용하여 변환/테스트 가능
728x90
반응형
'AI Development > NVIDIA TensorRT' 카테고리의 다른 글
| [TensorRT] ONNX 및 TRT에서 Group Normalization 사용하기 (+ Instance Normalization 이슈) (0) | 2022.02.23 |
|---|---|
| [TensorRT] QuickStartGuide (6) | 2021.08.31 |
| [TensorRT] trtexec 사용하기 (2) | 2021.03.30 |
| [TensorRT] Implicit vs Explicit (3) | 2020.10.21 |
| [TensorRT] Squeeze + Unsqueeze + expand_as 조합의 Pytorch 모델 사용 시 나타날 수 있는 이슈 (1) | 2020.09.16 |
| [TensorRT] ONNX 에서 TensorRT 변환 시 Upsample scale_factor 문제 (0) | 2020.09.03 |