반응형

전체 글 540

[Linux] 사용했던 커맨드 확인하는 명령어

아래와 같이 .bash_history 파일에는 사용했던 명령어들의 리스트 정보들이 담겨있다. 이는 bash shell 에서 지원한다. ~$ cat .bash_history | grep test 참고자료 : https://jhnyang.tistory.com/306 [리눅스/LInux] history 명령어 및 옵션- 이전에 수행한 명령어 리스트 확인, 동작원리 [ LINUX / UNIX 완전정복 포스팅 링크 모음] 안녕하세요~! 방문자님들 오늘도 찾아주셔서 감사합니다. 오늘 알아볼 기초명령어는 history예요~!! history 명령어 - 커맨드 이력 관리 명령어 자주 사용하는 jhnyang.tistory.com

Programming/Linux 2022.01.03

[Book Review] 데이터 과학자 되는 법

이 책은 한빛미디어에서 출간되었으며, 데이터 과학 분야에 진출하고 싶은 사람이나 아직 데이터 과학 분야에서 일한지 몇 년 안된 사람들을 위해 만들어진 책이다. 책 제목에서 그렇듯 “데이터 과학자 되는 법”에 대해서 설명하고 있다. 자세히는 데이터 과학자의 역할과 직함에 따른 여러 직무를 소개하고, 데이터 과학자가 되기 위해 필요한 기술을 습득하는 다양한 방법에 대해 구체적으로 담았으며, 포트폴리오를 만드는 방법까지 설명하고 있다. 또한 데이터 과학 직무의 구직과정에 대해서도 아주 자세히 담았다. 커버레터 작성하는 법에서 직무별로 이력서를 다듬는 방법, 그리고 처우를 협상하는 방법까지! 데이터 과학에 발 담군지 몇 년 안된 이 시점에 이 책을 지금이라도 접할 수 있게 해준 한빛미디어와 글쓴이에게 깊은 감사..

Book Review 2021.12.25

[Book Review] 살아 움직이는 머신러닝 파이프라인 설계

“살아 움직이는 머신러닝 파이프라인 설계” 라는 책은 한빛미디어에서 발간되었고, SAP Concur의 Concur Labs 의 수석 데이터 과학자인 하네스 하프케와 캐서린 넬슨이 집필하였으며, 인공지능 업계에서 유명한 송호연님이 옮긴 책이다. 인공지능 프로젝트는 상당히 많은 부분을 자동화 소프트웨어로 대체 할 수 있다. 이 책에서는 머신러닝 파이프라인 자동화를 시작하는 명확한 지침을 제공한다. 뤼이드의 송호연님이 제시하고 있는 인공지능 프로젝트의 미래는 꽤 설득력 있다. 머신러닝 파이프라인을 세팅해주기만 한다면, AutoML을 수행하는 인공지능 에이전트가 해당 문제를 확인하고, 리소스를 얼마나 사용할지 사람에게 컨펌받고, 스스로 모델을 디자인하여 하이퍼파라미터를 최적화하고 이를 평가, 배포, 모니터링까지..

Book Review 2021.11.21

[GPU] NVIDIA GPU 적정 온도 확인하기

NVIDIA 계열의 GPU의 온도를 확인하는 명령어는 다음과 같다. $ nvidia-smi -q -d temperature 아래는 현재 GPU의 Temperature 상태들을 나타낸다. ==============NVSMI LOG============== Timestamp : Thu Nov 18 15:52:50 2021 Driver Version : 460.73.01 CUDA Version : 11.2 Attached GPUs : 4 GPU 00000000:1A:00.0 Temperature GPU Current Temp : 64 C GPU Shutdown Temp : 90 C GPU Slowdown Temp : 87 C GPU Max Operating Temp : 83 C GPU Target Temper..

[Book Review] 쉽게 시작하는 캐글 데이터 분석

길벗 출판사에서 출간된 "쉽게 시작하는 캐글 데이터 분석" 책은 데이터 분석을 처음 시작하고자 하는 "캐글(Kaggle)"에 관심 있는 사람들을 위한 책이다. 기본적인 개념 및 예제로 머신러닝과 데이터 분석을 설명할 뿐 아니라 같은 데이터를 어떻게 바라보고 더 자세히 분석하는지를 쉽고 기발하게 설명해놓았다. 기본 언어는 파이썬이며, 캐글을 위한 절차와 대회에 참가하는 방법을 소개해놓았다. 또한 이 책에서 대표적으로 '타이타닉 생존자 예측' 문제와 '주택 가격 예측' 문제를 실행하며 사전 준비 과정부터 정확도를 높이는 단계별 프로세스까지 코드로 알기 쉽게 설명해놓았다. 길벗출판사 웹 사이트 : http://www.gilbut.co.kr 길벗, 이지톡 IT, 어학, 자기계발, 재테크, 인문, 여행 등 학습과..

Book Review 2021.10.30 (2)

[Book Review] 제대로 배우는 수학적 최적화

한빛미디어에서 우메타니 슌지(현재 오사카대학교 교수 재직, 수학적 최적화 모델 및 알고리즘 구현 문제 연구중)가 집필한 "제대로 배우는 수학적 최적화"라는 책이 출간되었다. 수학적 최적화라는 개념 자체가 꽤나 다양한 영역에서 다양한 문제로 나타나고 있기 때문에, 베이직한 개념을 숙지해두고, 여러 기법들을 다 알진 못하더라도, 짧게라도 키워드 등으로 기억해두면, 앞으로 실무에서 다양한 문제를 푸는 중요한 Key가 될 수 있을 것 같기 때문에 이 책을 읽게 되었다. 나의 짧은 지식으로 수학에서의 최적화라는 것은 특정한 수학적 문제에 대한 값이 최대나 최소가 되는 방향으로 해결하는 것이라고 알고있다. 이 책에서 말하는 수학적 최적화란 아래와 같다. 주어진 제약조건 아래 목적 함숫값을 최소(또는 최대)로 만드는..

Book Review 2021.10.24 (2)

[Book Review] 만들면서 배우는 파이토치 딥러닝

이 책은 전이학습/파인튜닝을 활용한 화상 분류, 물체 감지, 시맨틱 분할, 자세 추정, GAN을 활용한 화상 생성 및 이상 탐지, 텍스트 데이터의 감정 분석 그리고 동영상 데이터의 클래스 분류를 다루고 있는 책이다. 오가와 유타로라는 연구원이 기술했으며, '아크몬드'라는 필명으로 활동하고 있는 블로거 박광수님이 번역을 진행하였다. 지은이는 다음과 같은 멋진 말을 남겼다. 머신러닝과 딥러닝은 '단독'으로 이뤄진 총 같은 무기나 도구가 아닌 'OO X 딥러닝' 이라는 형태일 때 비로소 진정한 가치를 발휘합니다. '인사 업무 X 딥러닝', '영업 X 딥러닝', '제조업 X 딥러닝', '의료 X 딥러닝', '소매업 X 딥러닝' 등 OO에는 기업과 산업 그리고 직무 특성에 따른 도메인 지식과 과제가 해당됩니다. ..

Book Review 2021.09.22

[TensorRT] InstanceNormalization_TRT Plugin

아래와 같이 Engine Serialization 과정에서 InstanceNormalization_TRT 플러그인을 못찾겠다는 에러가 발생했다. Instance Normalization Paper : https://arxiv.org/pdf/1607.08022.pdf [TensorRT] ERROR: INVALID_ARGUMENT: getPluginCreator could not find plugin InstanceNormalization_TRT version 1 [TensorRT] ERROR: safeDeserializationUtils.cpp (322) - Serialization Error in load: 0 (Cannot deserialize plugin since corresponding IPlug..

[TensorRT] QuickStartGuide

TensorRT 를 처음 접하는 사람들이 보기 딱 좋은 레퍼런스 발견. 계속 업데이트 되고 있는 것 같아서 좋다. 참고자료 1은 ipynb 로 되어있어서 쉽게 따라 해 볼 수 있으며, 참고자료 2는 TensorRT Runtime API 를 사용하는 방법에 대해 나와있다. 둘다 내용은 비슷하다. (profiling 하는 방법도 자세히 알려줬으면 좋겠다...) 참고자료 1. https://github.com/NVIDIA/TensorRT/tree/master/quickstart GitHub - NVIDIA/TensorRT: TensorRT is a C++ library for high performance inference on NVIDIA GPUs and deep learning accelerators Te..

AI Development/TensorRT 2021.08.31 (6)

[Book Review] 텐서플로 라이트를 활용한 안드로이드 딥러닝

모바일 분야(안드로이드, IOS 등)에서의 개발은 많은 코더들이 존재한다. 또한 딥러닝 연구자, 개발자들도 많이 존재한다. 하지만 이 두 분야를 모두 다룰 수 있는 전문가는 많지 않다. 특히 딥러닝을 활용한 서비스들은 모바일에서 수요가 꾸준하게 증가하고 있기 때문에 딥러닝 모델들을 모바일에 이식하여 배포할 수 있는 기술이 매우 중요해진 실정이다. 나같은 필자 또한 모바일에 딥러닝 모델을 배포하고 서비스하는 것에 관심이 많고, 앞으로도 중요한 핵심 기술이 될 것 같기 때문에 개인적으로 TensorFlow Lite를 공부하고 있었다. 하지만 나는 모바일 프로그래밍이라고는 대학교 2학년 때 안드로이드 어플을 간단히 만들어 본 적 밖에 없고, 딥러닝 모델을 개발한 적은 있어도 모바일 기기에 배포한 적은 없었기 ..

Book Review 2021.08.16

[Object Detection] Object Detection 분야에서 신경망의 입력 해상도 값을 제한하는 이유 (e.g. ~ [1333,800] or ~ [1000, 600])

바보같은 질문일 수도 있지만... Object Detector를 개발하다가 문득 궁금한 점이 생겼다. Object Detection 구현들을 살펴보면 scale 값과 max size 값을 제한해두는 경우가 있다. 아래 예시는 FPN pytorch 구현의 res50-lg.yml 파일이며, scale 값은 800으로, max size 값은 1333으로 정해져있다. SCALES: [800] MAX_SIZE: 1333 EXP_DIR: res50-lg TRAIN: HAS_RPN: True IMS_PER_BATCH: 1 BBOX_NORMALIZE_TARGETS_PRECOMPUTED: True RPN_POSITIVE_OVERLAP: 0.7 RPN_BATCHSIZE: 256 PROPOSAL_METHOD: gt BG_T..

[Dataset] MS COCO 데이터를 쉽게 이용할 수 있는 FiftyOne 사용하기

MS COCO Dataset 홈페이지에 오랜만에 들어가봤는데, 새로운 것을 발견해서 포스팅하기로 했다. FiftyOne 공식 문서 : https://voxel51.com/docs/fiftyone/# FiftyOne — FiftyOne 0.11.2 documentation Contents voxel51.com FiftyOne Github : https://github.com/voxel51/fiftyone GitHub - voxel51/fiftyone: The open-source tool for building high-quality datasets and computer vision models The open-source tool for building high-quality datasets and c..

[Deep Learning] Gradient clipping 사용하여 loss nan 문제 방지하기

Gradient clipping 을 하는 이유는 한마디로 학습 중 Gradient Vanishing 또는 Exploding 이 발생하는 것을 방지하여 학습을 안정화 시키기 위함이다. 학습하고자 하는 모델이 RNN 이나 DNN 같은 강한 비선형 목적함수를 가지고 있을 경우에에 미분값은 매우 크거나 작아지는 경향이 있다. 이러한 결과는 여러개의 큰 가중치값을 곱할때 생기게 되는데, 이러한 가파른 지역에 다다르게되면, Backpropagation 과정에서의 Gradient Update Step 에서 파라미터들이 굉장히 크게 움직일 수 있다. 파라미터들이 크게 움직이게 되면 여태 진행했던 학습 Epoch 들이 무효화 될 수 있다. 즉 모델 학습 시 loss nan 문제를 겪을 수 있다. Gradient는 현재 ..

728x90
반응형