250x250
꾸준희
Enough is not enough
꾸준희
전체 방문자
2,319,279
오늘
213
어제
774

공지사항

  • 꾸준희 블로그
  • 분류 전체보기 (580)
    • 생각 (14)
    • Book Review (38)
    • Paper Review (18)
    • Research Topic (126)
      • Deep Learning (24)
      • Pose Estimation (29)
      • Object Detection (22)
      • Object Segmentation (3)
      • Object Tracking (11)
      • Video Surveillance (4)
      • Action Recognition (6)
      • Stereo Vision (6)
      • 3D Reconstruction (4)
      • Machine Vision (2)
      • Image Processing (11)
      • Dataset (4)
    • Development (76)
      • NVIDIA DeepStream (3)
      • NVIDIA TensorRT (30)
      • NVIDIA TAO Toolkit (2)
      • ONNX (8)
      • PyTorch (5)
      • TensorFlow (15)
      • TensorFlow Lite (1)
      • GPU | CUDA | PyCUDA (12)
    • Programming (147)
      • GStreamer | FFmpeg (6)
      • Python (27)
      • C | C++ (15)
      • OpenCV (34)
      • Linux (36)
      • Embedded linux (7)
      • Etc. (22)
    • Computer Science (62)
      • 학부 및 대학원 과목 (22)
      • 선형대수학 및 기타 수학 (7)
      • SQL-D (33)
    • 삽질 기록 (49)
    • 기타 (50)
      • 참고자료 (30)
      • 좋은 글 (5)
      • 티스토리 (2)
      • 논문 작성 관련 참고 (10)
      • 메모 (0)

블로그 메뉴

  • 👀 CV
  • 🌸 GitHub
  • 💌 LinkedIn
  • 📚 방명록

최근 댓글

  • python으로 만든 코드를 이제 a⋯
    android 초보
  • cannot resolve symbol 'type'⋯
    android 초보
  • 정확히 뭐라고 뜨나요?
    꾸준희
  • 앗 ㅠ 제가 오랜만에 스킨을 바⋯
    꾸준희
  • 선생님 ㅜㅠ 각도 계산하는 부⋯
    android 초보
07-04 08:58

티스토리

hELLO · Designed By 정상우.
꾸준희

Enough is not enough

삽질 기록

num_workers 미설정 시 학습 데이터 로드 속도 영향 발생

2022. 4. 25. 17:11
반응형

iteration 20 마다 결과 값(time, loss 등)을 확인하며 모델을 학습하고 있는데, iter=20 당 속도가 2배나 느려진 것을 발견하였다. 단순히 데이터 세트가 더 많이 추가되어 그런줄 알고있었는데, 아무리 생각해도 이상해서 이전에 데이터를 이 정도 양으로 많게끔 학습했던 적이 있었을 때의 로그를 확인해보니 시간 차이가 다소 있었다. 그래서 이상해서 찾아보던중.. 불현듯 며칠전 실험 시 바꿨었던 num_workers 가 생각났다....아... num_workers 디폴트 값인 0으로 두고 학습을 진행시켰었는데, 이것 때문에 데이터 로드 시 속도 저하(이전 보다)가 있었던 것 같다. 그래서 바로 num_workers 값을 GPU * 4 로 설정해주니 이전과 같이 빠르게 학습이 진행되는 것을 확인할 수 있었다... 

 

참고로 num_workers 값은 보통 GPU 대수 * 4로 설정하게 되는데, 모델에 가장 적합한 num_workers 수치를 찾아내는 것도 파라미터 튜닝의 일종이라고 한다. 이 튜닝을 위해 고려해야 하는 것은 학습 환경의 GPU개수, CPU개수, I/O 속도, 메모리가 있다고 한다. 

 

또한 메모리의 데이터를 GPU로 옮길 때의 과정을 단축해 주는 역할인 pin_memory도 설정해주면 학습 속도 측면에서 좋다. 

 

 

 

참고자료 1 : https://velog.io/@jaylnne/Pytorch-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8%EC%9D%98-%EC%84%B1%EB%8A%A5%EC%9D%84-%EA%B7%B9%EB%8C%80%ED%99%94%ED%95%98%EB%8A%94-7%EA%B0%80%EC%A7%80-%ED%8C%81

 

Pytorch 머신러닝 모델의 성능을 극대화하는 7가지 팁!

Hi! I'm Jaylnne. ✋페이스북에서 공개한 파이토치 모델을 돌려보던 중, GPU 환경은 건드리지 않고 모델 성능을 향상시킬 수 있는 방법이 없을까? 하는 궁금증이 들었다. 그런 방법이 없을 리 없다고

velog.io

 

참고자료 2 : https://jybaek.tistory.com/799​

 

DataLoader num_workers에 대한 고찰

Pytorch에서 학습 데이터를 읽어오는 용도로 사용되는 DataLoader는 torch 라이브러리를 import만 하면 쉽게 사용할 수 있어서 흔히 공식처럼 잘 쓰고 있습니다. 다음과 같이 같이 사용할 수 있겠네요. fr

jybaek.tistory.com

 

반응형
저작자표시비영리
  • 카카오스토리
  • 트위터
  • 페이스북

'삽질 기록' 카테고리의 다른 글

num_workers 미설정 시 학습 데이터 로드 속도 영향 발생  (2) 2022.04.25
vim 편집 시 ctrl+s 눌렀을 때 터미널 멈추는 현상  (0) 2022.04.13
FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated  (0) 2022.02.23
identifier "AT_CHECK" is undefined  (0) 2021.08.02
mmdetection 으로부터 학습한 모델을 ONNX 및 TensorRT 로 변환 시 나타나는 문제  (0) 2021.07.26
fatal error: libpq-fe.h: No such file or directory  (0) 2021.07.15
    '삽질 기록' 카테고리의 다른 글
    • vim 편집 시 ctrl+s 눌렀을 때 터미널 멈추는 현상
    • FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated
    • identifier "AT_CHECK" is undefined
    • mmdetection 으로부터 학습한 모델을 ONNX 및 TensorRT 로 변환 시 나타나는 문제
    꾸준희
    꾸준희
    생각과 기록 그리고 발전
    댓글쓰기
    1. Jonghyuk Baek
      2022.04.30 18:00 신고
      최적의 num_worker 를 찾아내는 건 항상 어려운 것 같습니다ㅎㅎ. 어떨 때는 데이터셋 구현에 따라 아예 안 쓰는게 나을 때도 있더라고요. 저도 관련해서 뭔가 intuition을 얻으면 포스트 올려 보겠습니다!
      수정/삭제댓글쓰기댓글보기
      1. 꾸준희
        2022.05.02 10:34 신고
        저도 이번 일로 num_worker의 중요성을 다시 한번 깊이 느끼게 되었네요 ㅎㅎ 좋은 정보 공유해주셔서 감사드려요~ 또 알게 되시면 공유해주세요! ㅎㅎ
        수정/삭제
    다음 글
    [NVIDIA TAO Toolkit] TAO Toolkit 개요
    이전 글
    [Book Review] 머신러닝 실무 프로젝트
    • 이전
    • 1
    • ···
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • ···
    • 580
    • 다음

    티스토리툴바