250x250
꾸준희
Enough is not enough
꾸준희
전체 방문자
2,319,279
오늘
213
어제
774

공지사항

  • 꾸준희 블로그
  • 분류 전체보기 (580)
    • 생각 (14)
    • Book Review (38)
    • Paper Review (18)
    • Research Topic (126)
      • Deep Learning (24)
      • Pose Estimation (29)
      • Object Detection (22)
      • Object Segmentation (3)
      • Object Tracking (11)
      • Video Surveillance (4)
      • Action Recognition (6)
      • Stereo Vision (6)
      • 3D Reconstruction (4)
      • Machine Vision (2)
      • Image Processing (11)
      • Dataset (4)
    • Development (76)
      • NVIDIA DeepStream (3)
      • NVIDIA TensorRT (30)
      • NVIDIA TAO Toolkit (2)
      • ONNX (8)
      • PyTorch (5)
      • TensorFlow (15)
      • TensorFlow Lite (1)
      • GPU | CUDA | PyCUDA (12)
    • Programming (147)
      • GStreamer | FFmpeg (6)
      • Python (27)
      • C | C++ (15)
      • OpenCV (34)
      • Linux (36)
      • Embedded linux (7)
      • Etc. (22)
    • Computer Science (62)
      • 학부 및 대학원 과목 (22)
      • 선형대수학 및 기타 수학 (7)
      • SQL-D (33)
    • 삽질 기록 (49)
    • 기타 (50)
      • 참고자료 (30)
      • 좋은 글 (5)
      • 티스토리 (2)
      • 논문 작성 관련 참고 (10)
      • 메모 (0)

블로그 메뉴

  • 👀 CV
  • 🌸 GitHub
  • 💌 LinkedIn
  • 📚 방명록

최근 댓글

  • python으로 만든 코드를 이제 a⋯
    android 초보
  • cannot resolve symbol 'type'⋯
    android 초보
  • 정확히 뭐라고 뜨나요?
    꾸준희
  • 앗 ㅠ 제가 오랜만에 스킨을 바⋯
    꾸준희
  • 선생님 ㅜㅠ 각도 계산하는 부⋯
    android 초보
07-04 08:58

티스토리

hELLO · Designed By 정상우.
꾸준희

Enough is not enough

mmdetection 으로부터 학습한 모델을 ONNX 및 TensorRT 로 변환 시 나타나는 문제
삽질 기록

mmdetection 으로부터 학습한 모델을 ONNX 및 TensorRT 로 변환 시 나타나는 문제

2021. 7. 26. 18:03
반응형

 

 

mmdetection 으로부터 학습한 딥러닝 모델을 ONNX 모델로 변환하고, TensorRT 로 변환하는 과정에서

아래와 같이 importTopK 레이어(노드)를 TensorRT 에서 인식을 못하여 변환이 안되는 문제가 발생하였다. 

 

In node -1 (importTopK): UNSUPPORTED_NODE: Assertion failed: inputs.at(1).is_weights()

 

ERROR: builtin_op_importers.cpp:3455 In function importTopK:
[8] Assertion failed: inputs.at(1).is_weights()

 

 

 

mmdetection 에서는 아래와 같이 여러 TensorRT Plugin 을 제공하고 있다. 아마 이 플러그인들을 처리하는 과정에서 importTopK 노드를 처리하는 것 같다. 그리고 참고로 mmdetection 에서는 object detection 의 NMS 과정을 플러그인으로 처리하고 있기 때문에, NMS 과정을 CPU 에서 연산하지 않아도 된다는 장점이 있다. 

 

 

 

따라서 pytorch2onnx.py 를 실행하기 전에 아래와 같이 ONNX backend 의 path 를 export 해주어야한다.

(물론 그 전에 TensorRT 를 포함하여 mmcv를 빌드해야한다. )

 

export ONNX_BACKEND=MMCVTensorRT

 

 

그럼 아래와 같은 문제는 사라진다. 

Assertion failed: inputs.at(1).is_weights()

 

 

참고로 mmcv 의 TensorRT를 빌드하는 과정은 아래와 같다. 

 

 

이미 TensorRT(python version)가 설치되어 있다면, path export 만 해주고, build 하면 될 것 같다. 

$ cd mmcv # to MMCV root directory
$ MMCV_WITH_OPS=1 MMCV_WITH_TRT=1 pip install -e .

 

 

 

 

 

 

 

참고자료 1 : https://github.com/open-mmlab/mmdetection/issues/5033

 

TensorRT conversion error for faster_rcnn_r50 · Issue #5033 · open-mmlab/mmdetection

Pretty much duplicate of this issue, but the offered solutions do not work I think (and the problem still persists). I installed mmcv with plugins as described in docs. assert is_tensorrt_plugin_lo...

github.com

 

참고자료 2 : https://github.com/open-mmlab/mmdetection/issues/5383

 

[Nvidia Jetson] Different NMS in ONNX and MMCV plugins · Issue #5383 · open-mmlab/mmdetection

My goal is to use YoloV3 in TensorRT on Nvidia Jetson I use YoloV3 https://github.com/open-mmlab/mmdetection/blob/master/configs/yolo/yolov3_d53_mstrain-608_273e_coco.py python tools/deployment/pyt...

github.com

 

반응형
저작자표시비영리
  • 카카오스토리
  • 트위터
  • 페이스북

'삽질 기록' 카테고리의 다른 글

FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated  (0) 2022.02.23
identifier "AT_CHECK" is undefined  (0) 2021.08.02
mmdetection 으로부터 학습한 모델을 ONNX 및 TensorRT 로 변환 시 나타나는 문제  (0) 2021.07.26
fatal error: libpq-fe.h: No such file or directory  (0) 2021.07.15
Image Classification 시 분류 결과 한쪽에 치우쳐져서 나오는 현상  (0) 2021.07.01
Linux 환경에서 OpenCV의 VideoCapture 사용 시 Webcam이 죽어도 읽히지 않을 때  (0) 2021.06.25
    '삽질 기록' 카테고리의 다른 글
    • FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated
    • identifier "AT_CHECK" is undefined
    • fatal error: libpq-fe.h: No such file or directory
    • Image Classification 시 분류 결과 한쪽에 치우쳐져서 나오는 현상
    꾸준희
    꾸준희
    생각과 기록 그리고 발전
    댓글쓰기
    다음 글
    [ONNX] ONNX Simplifier 사용하여 모델 간소화 하기
    이전 글
    [Book Review] 업무에 바로 쓰는 SQL 튜닝
    • 이전
    • 1
    • ···
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • ···
    • 580
    • 다음

    티스토리툴바