AI Development/NVIDIA TensorRT

[TensorRT] trtexec 사용하기

꾸준희 2021. 3. 30. 18:28
728x90
반응형

 

 

1. TensorRT 를 설치

 

2020.04.21 - [AI Development/TensorRT] - [TensorRT] NVIDIA TensorRT 개념, 설치방법, 사용하기

 

 

 

2. /usr/src/tensorrt/samples 에서 make 하여 빌드하기

 

 

 

3. /usr/src/tensorrt/bin 에 실행파일 생성됨 

 

 

 

4. /usr/src/tensorrt/bin/trtexec 실행

$ /usr/src/tensorrt/bin/trtexec --help

 

 

아래와 같이 사용할 수 있는 명령어 확인

 

$ ./trtexec --help

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 모델 변환 시 saveEngine 을 지정하여 모델을 저장 가능
  • 모델 실행 시 loadEngine 을 지정하여 모델 테스트 가능 (속도 테스트)
  • INT8 Calibration 캐시 생성 기능은 지원하지 않으며, calibration cache file 이 존재한다면 이를 이용하여 변환/테스트 가능 

 

728x90
반응형
1 2 3 4 5 6 7 8 9 ··· 30