VNC Viewer 에서 Pycharm 실행 시 아래와 같이 X11 window server 에 연결하지 못한다는 에러가 난다. Can't connect to X11 window server using 'localhost:2.0' as the value of the DISPLAY variable. 이와 관련된 해결법으로 $DISPLAY 변수를 지정해주는 방법들이 나왔는데, 아래와 같이 먼저 xhost + 명령어를 실행해주면 된다. 이 때 root 권한으로 아래와 같이 실행해준다. 이는 Xwindow의 모든 창들은 Owner(root)의 허락없이 열수 있다는 의미이다. $ xhost + 그 다음 local 환경에서 pycharm.sh 를 실행하면 실행이 정상적으로 된다. 참고자료 1 : xinet.kr/?..

원문 : www.technologyreview.kr/ai-data-errors-warp-machine-learning-progress/ AI 학습시키는 데이터세트, 믿을만한가? - MIT Technology Review 테스트 데이터 결함으로 머신러닝에 대한 사람들의 생각은 왜곡되었다. www.technologyreview.kr IT의 새로운 연구에 따르면, 가장 많이 인용된 AI 데이터세트 10개가 라벨 오류로 가득하며 그 결과 관련 분야에 대한 사람들의 생각이 왜곡되고 있다. 데이터 백본(Data Backbone): 데이터 세트는 AI 연구의 근간을 이루지만, 이 보다 더 중요한 것도 있다. 시간이 흐름에 따라 AI 기능이 어떻게 발전하는지를 파악하기 위한 방법으로 연구진이 머신러닝 모델 평가에 사용..

paperswithcode.com/datasets?fbclid=IwAR1taUN2tkk2cDpib-nYkan94pe1jJPNbMZAPBPDGrK0mbMckFoLT9ydHmw Papers with Code - Machine Learning Datasets 3708 datasets • 45357 papers with code. paperswithcode.com

논문 : arxiv.org/abs/1803.09010?fbclid=IwAR3UCFY0fnEHlCSZjdVEW1iR1IXlFtQyQ458abbYW4MhtTs4Pd4U22xNJ-c Datasheets for Datasets The machine learning community currently has no standardized process for documenting datasets, which can lead to severe consequences in high-stakes domains. To address this gap, we propose datasheets for datasets. In the electronics industry, every compone arxiv.org 참고자료 : s..

학습 데이터가 부족할 때 가상 세계에서 얻어진 데이터를 이용해 볼 수 있다. 즉 언리얼 엔진을 이용하여 만들어진 GTA 게임에서 Synthetic DataSet 을 생성하여 데이터를 보완 해 볼 수 있다. (GTA 게임 안해봄...) 찾아보니 관련 연구가 여러가지 있었는데 보통 Teacher-Student 형태의 학습 방식을 사용한다. 즉 대규모 데이터인 Synthetic Dataset을 이용하여 Teacher Net 을 구성하여 Pre-training 하고, Real Dataset 을 이용하여 Student Net 을 구성함으로써 fine-tuning 하는 방식이다. Synthetic Dataset 에는 보통 자율 주행 환경 (Car, Person Segmentation, ..) 데이터가 많았으며, 안..

카프카는 2011년 미국 링크드인에서 출시되어 2021년 아파치 재단의 인큐베이션 프로젝트로 시작해 "아파치 카프카"라는 이름으로 출시되었다고 한다. 이는 대규모 메시징 시스템을 구현하기 위한 오픈소스 소프트웨어인데, 현재에는 다양한 기능들이 추가되어 데이터 로드, 데이터 처리를 위한 기능들을 포함하여 통합적인 데이터 처리 플랫폼으로 변모하고 있다고 한다. 내가 제일 궁금했던 것은 카프카를 이용하여 데이터 파이프라인을 구축하는 방법이였는데, 이 책의 6장에서 카프카를 이용한 데이터 파이프라인의 구성 요소부터 시작해 7장의 카프카 커넥트로 데이터 허브를 구축하는 방법까지 보고나서 데이터 허브 아키텍쳐를 어떻게 응용해야 할지에 대한 감이 잡혔다. 또한 Part 1 에서는 아파치 카프카에 대한 기본 개념들을 ..

리눅스 환경에서 쉘 스크립트로 heif-convert 패키지를 사용하여 HEIC 파일을 jpg 파일로 변환 시킬 수 있다. 참고로 HEIC 파일은 아이폰에서 주로 볼 수 있는 확장자이다. 가령 찍은 사진을 컴퓨터로 옮기면(e.g. 구글 드라이브) 이 확장자로 나타나기 때문에 변환이 필요하다. 1. heif-convert 패키지 다운로드 $ sudo add-apt-repository ppa:strukturag/libde265 $ sudo apt update $ sudo apt upgrade $ sudo apt-get install libheif-examples 2. (단일 파일) HEIC 파일 jpg 파일로 변환 시키기 $ heif-convert infile.heif outfile.jpg 3. (복수 파일..

성능 개선율을 계산하는 방법은 다음과 같다. $ \frac{t_{1}-t_{2}}{t_{2}} $ $ t_{1} $ : 이전 수치 $ t_{2} $ : 현재 수치 성능 개선율 계산 예시 수행시간 성능개선율 계산 94분 -> 62분 (94 - 62 ) ÷ 62 = 51.61% 100분 → 50분 ( 100 - 50 ) ÷ 50 = 100% 1초 → 0.1초 ( 1 - 0.1 ) ÷ 0.1 = 900% 32초 → 2초 ( 32 - 2 ) ÷ 2 = 1500% 참고자료 : zetawiki.com/wiki/%EC%84%B1%EB%8A%A5_%EA%B0%9C%EC%84%A0%EC%9C%A8 성능 개선율 - 제타위키 다음 문자열 포함... zetawiki.com

이번 포스팅에서는 객체 검출(Object Detection)의 성능을 어떻게 평가하는지에 대해서 다루고자 한다. 먼저 "정확도"라는 개념은 주로 정답(Ground Truth, 이하 GT)과 모델이 예측한 결과(Prediction) 간의 비교를 통해 이루어진다. 객체 탐지 정확도 평가 지표인 mAP(mean Average Precision) 를 다루기 전에 이미지 분류(Image Classification)에서는 어떻게 정확도 평가를 수행하는지 알아볼 필요가 있다. 이미지 분류는 GT가 이미지의 클래스이기 때문에 이미지가 딱 주어졌을 때 이 이미지가 GT의 클래스와 일치하는지 불일치하는지를 비교하게 된다. 반면 객체 검출에서는 이미지를 분류하는 문제와 달리 여러 객체들이 존재하는 이미지 내에서 객체가 어디..

1. TensorRT 를 설치 2020.04.21 - [AI Development/TensorRT] - [TensorRT] NVIDIA TensorRT 개념, 설치방법, 사용하기 2. /usr/src/tensorrt/samples 에서 make 하여 빌드하기 3. /usr/src/tensorrt/bin 에 실행파일 생성됨 4. /usr/src/tensorrt/bin/trtexec 실행 $ /usr/src/tensorrt/bin/trtexec --help 아래와 같이 사용할 수 있는 명령어 확인 $ ./trtexec --help 모델 변환 시 saveEngine 을 지정하여 모델을 저장 가능 모델 실행 시 loadEngine 을 지정하여 모델 테스트 가능 (속도 테스트) INT8 Calibration 캐시..

scp secure copy의 줄임말로 ssh를 이용하여 네트워크로 연결된 호스트간에 파일을 주고받는 명령어 원격지에 있는 파일과 디렉터리를 보내거나 가져올 때 사용하는 파일 전송 프로토콜 ssh와 동일한 22번 포트와 identity file을 사용해서 파일을 송수신하기 때문에 안정된 프로토콜 1. 로컬에서 원격지로 파일 전송 단일 파일을 원격지로 전송할 때 scp [옵션] [파일명] [원격지_id]@[원격지_ip]:[받는 위치] $ scp test1.txt root@192.168.000.000:/test 복수 파일을 원격지로 전송할 때 scp [옵션] [파일명 1] [파일명 2] [원격지_id]@[원격지_ip]:[받는 위치] $ scp test1.txt test2.txt root@192.168.000..

ActionAI는 YogAI(Smart Personal Trainer)를 위한 딥러닝 학습 기반 Python Library 이다. 요가 동작을 히트맵으로 거울에 표시하였다. 맨 아래 참고자료에 링크를 넣어두었는데, 요가 동작 인식하는 방법을 굉장히 자세하게 써놓았다. 나중에 시간될 때 따라서 만들어보면 좋을 것 같다. 아래와 같이 유투브 크롤링을 이용하여 비디오 데이터를 수집하고, 이미지를 추출하였다고 한다. (정제는 수동으로 한듯) #!/usr/bin/env python import os import sys import requests from bs4 import BeautifulSoup as bs from urllib.parse import urlencode from pytube import YouT..