구글 파일 시스템 (GFS) vs 맵리듀스(MapReduce) vs 하둡 (Hadoop)
참고자료 1 : https://swalloow.github.io/map-reduce참고자료 2 : http://sycros.tistory.com/5 구글 파일 시스템 (GFS, Google File System) Google File System은 2003년 논문을 통해 소개되었다. 이전에 구글에서 사용하던 파일 시스템은 Big File 이었는데, 구글의 데이터가 급격히 늘어남에 따라 핵심 데이터 스토리지와 구글 검색 엔진을 위해 최적화 된 파일 시스템이 필요하게 된 것 이다. GFS는 크게 하나의 master node와 여러 개의 slave node로 구성되어 있다. 기능으로 보면 Master, Chunk Server, Client로 이루어져 있다. Master: GFS 전체를 관리하고 통제하는 중앙 ..
2017.09.26
[분산알고리즘] Hadoop(하둡) 이란 ?
참고자료 1 : https://aws.amazon.com/ko/emr/details/hadoop/참고자료 2 : http://over153cm.tistory.com/entry참고자료 3 : https://www.facebook.com/참고자료 4 : http://12bme.tistory.com/70참고자료 5 : http://yookeun.github.io/java/2015/05/24/hadoop-hdfs/ 하둡이란? 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임 워크이다. Apache™ Hadoop®은 대규모 데이터 세트를 효율적으로 처리하는 데 사용할 수 있는 오픈 소스 소프트웨어 프로젝트이고, 하나의 대형 컴퓨터를 사용하여 데이터를 처리 및 저장하는 대신, 하둡을 사용하면 상용 하..
2017.09.26
[Video Surveillance] 딥러닝으로 똑똑해지는 영상분석
CCTV가 똑똑해지고 있다. 방범, 범죄예방, 소매점 매출 증대 등 다양한 분야에 활용되는 CCTV는 지능형 영상분석 솔루션이 더해지면서 사회를 더욱 더 안전하고 편리하게 만들어주고 있다. 딥러닝 기술이 결합되면 더 발전된 지능형 영상 분석 기술을 이용하게 되며, 클라우드를 이용해 대량의 컴퓨팅 리소스를 사용하면 더 빠르고 정확하게 탐지하고 대응할 수 있게 된다. 지능형 영상분석 솔루션 시장의 현재와 미래를 살펴본다. 최근 범죄 수사에는 CCTV와 블랙박스가 결정적인 증거 자료로 활용된다. CCTV 영상에서 피해자 또는 용의자의 동선을 쫓고 범죄현장 영상을 분석해 범죄 상황을 알아본다. CCTV와 같은 영상 정보는 이미 일상생활에 널리 사용되고 있다. 거리의 CCTV에서 범죄 상황이나 사고 상황을 지능적..
2017.09.11
[Video Surveillance] RapidCheck
지능형 영상 분석 솔루션 RapidCheck RapidCheck Smart Video Anaylsis Solution We're developing video analysis solution to easily find out specific objects using informations such as direction, speed, colors, an so on. Entire project consists of 3 Modules : Detection Engine Tracking Engine Main GUI program Detailed docs for RapidCheck is below 1,2) Detection & Tracking Summary 1-1) Detection: Introduction 1-..
2017.09.11
no image
[Video Surveillance] 지능형 영상분석을 통한 폭력 비폭력 구분
CCTV에서 폭력행위 감지 시스템 연구 오래 전부터 CCTV를 활용한 감시 시스템은 여러 분야에 활용 되어 왔다. 야간방범, 교통 및 주차단속, 쓰레기 무단투기 등 다양한 목적으로 운영되던 CCTV의 효과가 가시화되자 통합 관제 센터를 설치하여 하나로 통합, 연동해 관리함으로 인력 및 비용의 절감 효과를 거두어 효율성을 높이고 있다. 이렇게 지방자치단체 마다 관리되는 CCTV수는 점차 증가하고 있지만 평균 1,000여대에 달하는 CCTV를 관제하는 요원의 수는 20여명에 불과해 이를 제대로 관제하기는 어려운 실정이다. 따라서 CCTV 모니터를 육안으로 관제하는 한계를 극복하기 위해 CCTV 영상을 실시간으로 분석해 특정인의 행동을 인식하거나, 차량번호의 자동 감지하여 요원들에게 경보음을 알려주는 등의 지..
2017.09.11
no image
[Tensorflow] windows 환경에서 tensorflow에 opencv 설치하기
필자는 python 3.5 버전을 사용하고 있다. 1. 자신 환경에 맞는 whl 파일 다운받기 http://www.lfd.uci.edu/~gohlke/pythonlibs/ ctrl + f 로 opencv 를 찾아서 누르면 파일 목록이 나온다. 필자는 python 3.5 버전, windows 64bits 를 사용중이어서 아래 표시한 파일을 다운받았다. OpenCV, a real time computer vision library.opencv_python‑2.4.13.2‑cp27‑cp27m‑win32.whlopencv_python‑2.4.13.2‑cp27‑cp27m‑win_amd64.whlopencv_python‑3.1.0‑cp27‑cp27m‑win32.whlopencv_python‑3.1.0‑cp27‑cp..
2017.09.05
no image
[Tensorflow] Windows 환경에서의 Anaconda를 이용한 Tensorflow CPU 버전 설치하기 (에러해결법)
참고자료 1 : http://daddynkidsmakers.blogspot.kr/2017/05/windows-10-tensorflow.html 설치환경 - Windows 10, 64bits- Intel core 사용중 (추후 GPU 구입 예정)* 보통 딥러닝을 하기 위한 CUDA 라이브러리를 사용하기 위해 성능이 좋은 GPU가 사용된다. 참고로 NVIDA GPU가 아니라면 CUDA 라이브러리를 쓸 수 없다. 하지만 간단한 예제 프로그래밍은 CPU로도 가능하며, GPU 와 설치방법이 다르다. (아주 약간) - Python 3.5 버전 (다운로드 : https://www.python.org/downloads/release/python-353/ )- Anaconda 4.2.0 버전 (다운로드 : https:/..
2017.09.05
올림 드림 배상
윗사람에게 메일을 보낼때 고민되는 것이 있다.... 올림, 드림, 배상... 저번에 윗사람한테 드림이라고 하였는데 괜찮은 건지.. 점점 하는 일이 많아지다보니 메일을 쓸 일이 많아졌다. 그래서 알아봤다. 배상 (拜上) 절하며 올린다는 뜻으로 나이나 지위가 높은 윗사람에게 사용하는 정중한 표현 올림 순우리말로서 배상과 의미는 동일 드림 연배를 떠나서 서로가 존중할때 사용하면 딱 좋은 드림 반대로 윗사람이 아랫사람에게 예를 갖출 때 올림 배상 보다는 드림이 쓰는게 어울림완전한 아랫사람이라면 '씀' 이라고 하면 됌
2017.09.01
[Object Detection] Multiple Object Detector
나중에 detector 를 파이썬으로 구현하고자 할 때 좋은 자료가 될듯 관련논문 1은 딥러닝을 구현하여 heatmap 을 생성해 object detection을 수행하는 논문이고, 관련논문 2도 딥러닝을 기반으로 bounding box 를 추출하는 과정을 수행한다. 관련논문 3은 구글에서 수행했던 논문인데, image cropping 부터 시작해서 human pose estimation 을 수행한다. 다음은 관련논문 1의 Git 이다. https://github.com/google/multibox google/multibox Contribute to google/multibox development by creating an account on GitHub. github.com 관련 논문 1 : Sca..
2017.08.31
[Deep Learning] 손글씨 인식 (MNIST)
참고자료 : 신경망 첫걸음 (한빛미디어) 딥러닝에서의 Hello World는 손글씨 숫자 이미지를 인식하는 것이다. MNIST 데이터셋 MNIST 데이터셋은 훈련용 55000개 및 테스트용 1만개로 이루어진 손글씨 숫자의 흑백 이미지 데이터이다. 이 데이터는 http://yann.lecun.com/exdb/mnist 에서 다운 받을 수 있다. 이미지를 다루는 경우에 데이터 전처리나 포매팅이 중요하지만, 이는 시간이 많이 걸리는 부분이다. 그러므로 이 데이터셋은 딥러닝을 시작하기에 안성맞춤이라고 한다. 이 흑백 이미지는 가로세로 비율은 그대로 유지하고 20x20 픽셀로 정규화 되어있다. 정규화 알고리즘 (가장 낮은 것에 맞춰 전체 이미지 해상도를 감소)에는 앤티에일리어싱 처리가 되어 이들 이미지에는 회색 ..
2017.08.25
no image
[Pose Estimation] Pose Estimation & Heatmap 관련 Git & 논문
Pose Estimation 관련 Git DeeperCut Part Detectors :: https://github.com/eldar/deepcut-cnn (Caffe) 관련 논문 : [1] DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model [2] DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation DeepPose (Stg-1) on TensorFlow :: https://github.com/asanakoy/deeppose_tf asanakoy/deeppose_tf DeepPose implementation on TensorFlo..
2017.08.25
no image
[Deep Learning] 회귀분석 (Regression) 과 경사하강법 (Gradient Descent)
참고자료 1 : medium.com/mathpresso참고자료 2 : http://gdyoon.tistory.com/9참고자료 3 : 텐서플로 첫걸음 (한빛미디어) 1. 회귀분석 (Regression) Pose Estimation에 대한 자료를 찾다보면 Keypoints detection에서 heatmap을 이용한 포즈추정시 Regression 이라는 개념이 많이 등장한다. 사실 이 개념은 머신러닝에서 나오는 개념이며, 이번 기회에 정리해보도록 한다. 회귀분석이란 주어진 데이터가 어떤 함수로부터 생성되었는가를 알아보는 '함수 관계'를 추측하는 것이다. 즉, 훈련 데이터세트 (X, Y) 로 부터 학습알고리즘을 이용하여 가설을 생성하고, 생성된 가설에 데이터를 입력하여 예측 값 데이터를 얻는 것이다. 이러한..
2017.08.25