[Book Review] 살아 움직이는 머신러닝 파이프라인 설계

“살아 움직이는 머신러닝 파이프라인 설계” 라는 책은 한빛미디어에서 발간되었고, SAP Concur의 Concur Labs 의 수석 데이터 과학자인 하네스 하프케와 캐서린 넬슨이 집필하였으며, 인공지능 업계에서 유명한 송호연님이 옮긴 책이다.

인공지능 프로젝트는 상당히 많은 부분을 자동화 소프트웨어로 대체 할 수 있다. 이 책에서는 머신러닝 파이프라인 자동화를 시작하는 명확한 지침을 제공한다. 뤼이드의 송호연님이 제시하고 있는 인공지능 프로젝트의 미래는 꽤 설득력 있다. 머신러닝 파이프라인을 세팅해주기만 한다면, AutoML을 수행하는 인공지능 에이전트가 해당 문제를 확인하고, 리소스를 얼마나 사용할지 사람에게 컨펌받고, 스스로 모델을 디자인하여 하이퍼파라미터를 최적화하고 이를 평가, 배포, 모니터링까지 수행할 수 있다고 말하고 있다.

즉, 미래에 우리는 문제를 정의해주고, 데이터와 목표값만 정해주면 된다는 것이다. 물론 간단한 문제는 이렇게 충분히 풀릴 수 있다. AutoML 기술도 매우 중요하지만, 앞으로 더 중요해질 일은 머신러닝 파이프라인을 세팅하고, 데이터를 목적에 맞게 준비하는 것 아닐까 싶다. 이러한 관점에서 이 책은 머신러닝 파이프라인을 구축하여 프로젝트를 자동화하는데 많은 소스가 될 수 있다.

이 책의 대상 독자는 다음과 같다.

✔️ 머신러닝 모델 학습을 넘어 데이터 과학 프로젝트를 성공적으로 출시하려는 데이터 과학자와 머신러닝 엔지니어
✔️ 데이터 과학 프로젝트 관리자, 소프트웨어 개발자, 데브옵스 엔지니어 (데이터 과학 프로젝트를 가속화 할 수 있도록 지원하는 사람들)

이 책의 각 장의 개요에서는 다음과 같은 내용을 다룬다.

1️⃣ 머신러닝 파이프라인
2️⃣ TFX - 텐서플로 익스텐디드
3️⃣ 데이터 수집
4️⃣ 데이터 검증
5️⃣ 데이터 전처리
6️⃣ 모델 학습
7️⃣ 모델 분석 및 검증
8️⃣ 텐서플로 서빙을 사용한 모델 배포
9️⃣ 텐서플로 서비스를 사용한 고급 모델 배포
🔟 고급 TFX

그 외 파이프라인 1,2 부 / 피드백 루프 / 머신러닝을 위한 데이터 개인 정보 보호 / 파이프라인의 미래와 다음 단계 등

머신러닝 파이프라인이 필요한 이유는 다음과 같다.

✔️ 기존 모델 유지보수에서 벗어나 새 모델에 집중 투자 가능
✔️ 자동화된 파이프라인은 버그를 예방
✔️ 실험 추적과 모델 배포 관리를 통한 버전 관리 문서화 가능
✔️ 표준화
✔️ 파이프라인의 비즈니스 사례

머신러닝 파이프라인이 모든 데이터 과학 프로젝트에 필요하지는 않다. 데이터 과학자들은 새로운 모델을 단순히 실험 하거나, 모델 아키텍쳐를 조사하는 등 이런 작업에는 이러한 파이프라인이 필요하지 않다. 하지만 기존에 만들어둔 머신러닝 프로젝트에서 모델 가중치를 계속 업데이트 하는 일, 하이퍼 파라미터를 조정하여 파인튜닝을 하는 일 등에서는 모델을 지속적으로 업데이트하고 데이터 과학자의 job 을 줄이는 차원에서는 머신러닝 파이프라인 자동화는 굉장히 획기적인 일이 될 수 있다.

머신러닝 파이프라인은 대개 데이터 수집 및 버전 관리, 데이터 검증, 데이터 전처리, 모델 학습(모델 튜닝 반복), 모델 분석, 모델 검증, 모델 배포, 모델 피드백 등으로 모델 생애주기를 나눠볼 수 있다. 특히 이 책에서는 텐서플로 익스텐디드(TensorFlow Extended)의 도구와 텐서플로를 사용하여 예제를 통해 머신러닝 파이프라인 자동화를 설명하고 있다. 텐서플로 생태계가 머신러닝에 가장 광범위하게 퍼져있고, 여러 유용한 프로젝트와 지원 라이브러리들을 포함하기 때문에 채택했다고 한다.

이 책은 이미 머신러닝 프로젝트를 다루고 있는 연구개발자들에게는 파이프라인을 자동화 할 수 있는데 방향성을 명확하게 제시해주는 책이고, 머신러닝 프로젝트를 시작하려는 사람들에게도 지침서가 되어줄 수 있는 책이다. 앞으로도 많은 산업에 기하 급수 적으로 머신러닝이 도입될텐데, 전반적인 IT 산업 시장에 머신러닝 파이프라인 자동화가 도입되어 효율적인 프로세스가 구축되기 위해 이러한 파이프라인이 반드시 필요하다는 것을 강조하는 사람들이 많이 생겨나고, 그러한 방법을 담은 책이 이 책을 시작으로 많이 출간되었으면 하는 개인적인 바램이다.





한빛미디어 “나는 리뷰어다” 활동을 위해서 책을 제공받아 작성된 서평입니다.