[TensorRT] trtexec 사용하기

 

 

1. TensorRT 를 설치

 

2020.04.21 - [AI Development/TensorRT] - [TensorRT] NVIDIA TensorRT 개념, 설치방법, 사용하기

 

 

 

2. /usr/src/tensorrt/samples 에서 make 하여 빌드하기

 

 

 

3. /usr/src/tensorrt/bin 에 실행파일 생성됨 

 

 

 

4. /usr/src/tensorrt/bin/trtexec 실행

$ /usr/src/tensorrt/bin/trtexec --help

 

 

아래와 같이 사용할 수 있는 명령어 확인

 

$ ./trtexec --help

 

 

 

 

 

 

 

 

 

 

 

 

 

 

• 모델 변환 시 saveEngine 을 지정하여 모델을 저장 가능
• 모델 실행 시 loadEngine 을 지정하여 모델 테스트 가능 (속도 테스트)
• INT8 Calibration 캐시 생성 기능은 지원하지 않으며, calibration cache file 이 존재한다면 이를 이용하여 변환/테스트 가능