no image
[Python] 인스타그램으로 크롤링하기
도메인에 알맞는 자신만의 데이터 세트를 만들기 위해서는 공개된 데이터 세트를 이용할 수 도 있지만, 추가적으로 인스타그램에 떠돌아다니는 이미지를 수집하여 저장할 수 있다. 인스타그램 크롤러를 통해서 이미지를 수집하는 것은 인스타그램 자체에서 속도를 제한시켜놓았기 때문에 1000장 이상 모으고자 할 경우, 상당히 느리게 수집된다는 단점이 있다. 또한 한 해쉬태그 당 최대 10000장 까지만 수집이 가능하다. https://github.com/huaying/instagram-crawler huaying/instagram-crawler Get Instagram posts/profile/hashtag data without using Instagram API - huaying/instagram-crawler g..
2019.08.02
[Linux] 파일 권한 변경하기
docker 를 사용중인데 파일(이미지, 텍스트 등)이 저장될 때 마다 루트 권한으로 인해 자물쇠가 걸려있어서 다음과 같이 폴더 내 모든 파일의 권한을 변경하였다. ~$ chmod 777 -R ./folder/
2019.07.31
[Linux] 파일명 일괄 변경 (공백 없애기) 명령어
$ rename 's/ //g' ./*
2019.07.11
[Docker] docker 자주 쓰는 명령어 정리
실행중인 컨테이너 목록 상태 확인하기 docker ps docker ps -a -a 옵션을 사용하면 전체 목록을 확인할 수 있다. 설치된 이미지 목록 확인하기 docker images 컨테이너 중지 / 재시작 / 시작 하기 docker stop name docker restart name docker start name 컨테이너 다시 접속하기 docker attach container_name 이 때, attach 한 후에 엔터를 쳐야 접속이 된다. 기다리지말고 엔터칠것. 컨테이너 / 이미지 삭제하기 docker rm -f container_name docker rmi image_name
2019.06.15
[Linux] nohub 명령어 이용해서 백그라운드로 실행하기
명령어 뒤에 & 을 붙이면 백그라운드로 실행하게 되는데 이 때, 터미널을 종료하면 프로세스도 같이 종료되기 때문에 nohup 명령어를 사용하여 백그라운드로 실행해야한다. nohup ./test.sh & 참고자료 : http://changpd.blogspot.com/2013/04/linux-nohup-xxxsh.html [linux] 백그라운드 작업 nohup [xxx.sh] & 백그라운드 작업이 필요할 경우가 있을 수 있다. 1. 데몬형태로 뭐를 띄운다거나, 2. cpu 많이 안잡아먹는데, 실행이 겁나 오래 걸리는. (예를들면, 10g짜리 압축을 푼다거나 뭐 이런거. ㅋ ) 보통 명령어 뒤에 & 만 붙여도 백그라... changpd.blogspot.com
2019.06.10
[GitHub] GitHub 에 폴더 올리기
$ git init $ git remote add origin "repository address" $ git add . $ git status $ git commit -m "message" $ git push -u origin master git push 가 안되는 경우에는 git pull 을 통해 상태를 업데이트 한 후에 다시 git push
2019.05.31
no image
[Python] Python 심볼릭 링크 설정
Python 은 버전 관리 하는 것이 필수이다. 나중에 Python Dependency 가 꼬여버리면 컴퓨터를 포맷하거나 일일히 꼬인 링크들을 제거해줘야하는 번거롭고 끔찍한 일이 발생한다. pip 도 마찬가지이다. 아래와 같이 각 버전을 확인해보길 바란다. $ pip -V $ pip2 -V $ pip3 -V $ python -V $ python2 -V $ python3 -V 리눅스에서 파이썬이 기본적으로 설치가 되어있지만, 원하는 버전이 있을 경우에 특별한 버전의 파이썬을 설치하고 그것을 주로 사용하기 위해서는 "심볼릭 링크" 를 설정해줘야한다. 가령 python test.py 를 실행하였을 때 python 기본 심볼릭 링크가 /usr/bin/python 이 /usr/bin/python2.7 을 가리키고..
2019.04.18
[Linux] Ubuntu 파일 찾기 명령어
find 명령어를 이용하여 원하는 파일을 찾을 수 있다. find [경로] [옵션] [파일명] find / -name '*.apk' 최상위 디렉토리, (root)에서 부터 검색을 해서 확장자가 apk로 끝나는 모든 파일 find / -name 'mysql*' mysql 이라는 단어로 시작하는 모든 파일 find / -name 'mysql' 이름이 'mysql'인 모든 파일 find -name '*.apk' 처럼 경로를 생략하고 명령어를 입력하면 해당 디렉토리에서부터 그 하위 디렉토리까지 검색 참고자료 : https://luyin.tistory.com/354 [Luyin]
2019.04.09
[Python] 모듈 가져오기
Python 에는 모듈을 가져오는데 두 가지 방법이 있다. import module from module import variable, function from module import * 모듈을 지우는 방법도 있다. del module 다시 불러오는 방법도 있다. reload(module) 참고자료 : https://wikidocs.net/77 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net
2019.04.06
no image
[Linux] 우분투 package configuration
우분투에서 설치를 하다보면 package configuration 페이지에서 넘어가지 않아 나같이 당황한 사람이 있을 것이다... Tab 키를 이용하여 OK 버튼에 접근 한 뒤 Enter ... 참고자료 : https://ubuntuforums.org/showthread.php?t=1777535 [SOLVED] package configuration page when in terminal ubuntuforums.org
2019.04.06
[Python] 자료형(type) 확인과 numpy 데이터 형변환
일반적인 파이썬 자료형 확인은 type() 함수를 이용하여 데이터 타입을 확인하고, 파이썬에 내재되어있는 numpy 모듈의 데이터 형변환 방법은 이와는 약간 다르다. 먼저 일반적인 파이썬 자료형 확인 방법은 다음과 같다. Python 자료형 확인 Python 3.x 버전의 경우 int print(type(123)) # float print(type(12.3)) # string print(type('123')) # print(type('안녕')) # print(type(u'안녕')) # * python 3 에서는 문자열이 항상 유니코드로 처리되서 u 표기 필요 없음 list print(type([])) # print(type([1, 2, 3, 4, 5])) # dictionary print(type({})..
2019.04.02
[Python] ldconfig
ldconfig 정의 ldconfig는 runtime때 여러 위치에 존재하는 shared object, 쉽게말해 동적 라이브러리를 연결해주는 dynamic linker를 설정하는 command이다. 즉, 자신이 사용중인 머신에 새로운 library를 설치한 후 머신이 인식하기 위한 dynamic linking table을 업데이트 해준다. 여기서 runtime dynamic linker는 /lib/ld.so 이고, 어떤 shared object가 필요한지는 실행파일이 알려준다. ldd /bin/ls 을 실행해보면 ls가 동작하기위해 필요한 so들 목록이 나오고, 해당 so파일을 어느 경로에 있는걸 가져올껀지도 보여준다. /etc/ld.so.conf는 이 경로를 지정해주는 설정파일. 출처 : http://..
2019.03.05