[Deep Learning] MediaPipe

 

 

 

 

MediaPipe Github : https://github.com/google/mediapipe

google/mediapipe

MediaPipe Document : https://mediapipe.readthedocs.io/en/latest/

MediaPipe — MediaPipe v0.5 documentation

 

 

 

Google 에서 모바일, 엣지, 클라우드에 머신러닝을 실행 할 수 있는 솔루션 및 애플리케이션을 제공하는 MediaPipe 를 공개했다.

 

이는 멀티 모달 머신러닝 파이프 라인을 구축하기 위한 그래프 기반 프레임워크이다. 이는 모바일 장치, 워크 스테이션 및 서버에서 실행되는 크로스 플랫폼이며 모바일 GPU 가속을 지원한다. MediaPipe 를 사용하면 추론 모델 및 미디어 처리 기능과 같은 모듈 식 구성 요소의 그래프로 적용된 머신러닝 파이프라인을 구축 할 수 있다고 한다. 오디오 및 비디오 스트림과 같은 데이터들이 그래프에 입력되고, obejct localization 및 face landmark 와 같은 정보를 출력한다. 

 

이 MeidaPipe 는 간단하게 프로젝트를 수행하는 사람들에게 딱 좋을 것 같다. 실제로도 그렇게들 많이 하고 있는 듯 하며, 이제 누구나 AI 를 편리하게 사용하여 개발 할 수 있는 시대가 이미 온 것 같다. 앞으로 MeidaPipe 의 행보가 기대된다.

 

지금까지 나온 솔루션으로는 아래와 같다.

 

• Face Detection (web demo)
• Face Mesh
• Hand Detection
• Hand Tracking (web demo)
• Multi-hand Tracking
• Hair Segmentation (web demo)
• Object Detection
• Object Detection and Tracking
• Objectron: 3D Object Detection and Tracking
• AutoFlip: Intelligent Video Reframing
• KNIFT: Template Matching with Neural Image Features

 

그 중 모바일 GPU  환경에서 real time 으로 hand tracking 을 수행하는 그래프 예시는 다음과 같다.

 

 

hand tracking in mediapipe

 

 

 

 

 

 

 

 

github 에 공개되어있는 Hand Tracking (web demo) 를 실행시켜 보았는데 아래와 같은 결과가...

매번 GPU 환경에서 2 ~ 3 ms 속도만 보다가 2.48 fps 라는 속도를 보니

가슴이 턱 막히는 것 같지만, 웹 환경이니 어쩔 수 없다고 생각한다 ㅎㅎ  

 

mediapipe 의 hand estiamtion & tracking web demo (난 분명 손바닥을 정면으로 펴고 있었는데....) 

 

 

원래는 아래와 같이, 한 개의 프레임 마다 21개의 3D keypoint 들을 추정하여 정확하게 tracking 할 수 있다. 모바일 환경이라는 점이 가장 큰 특징 같다. Top-down 방식이며, 손 위치를 검출하기 위해 BlazePalm 이라는 Single-shot detector 를 사용한다고 한다. 

 

 

 

 

 

 

 

 

 

 

 

 

참고자료 1 :

https://my-pick.tistory.com/entry/%EA%B5%AC%EA%B8%80%EC%9D%B4-%EB%A7%8C%EB%93%9C%EB%8A%94-AI-%EC%88%98%ED%99%94-%EC%9D%B8%EC%8B%9D-%ED%86%B5%EC%97%AD-%EC%8B%9C%EC%8A%A4%ED%85%9C?category=760043?category=760043

구글이 만드는 AI 수화 인식 통역 시스템

 

참고자료 2 : https://ai.googleblog.com/2019/08/on-device-real-time-hand-tracking-with.html

On-Device, Real-Time Hand Tracking with MediaPipe