이 책은 2018년에 처음으로 출판된 책이며, 2판은 2024년에 나오게 되었다. 그간 머신러닝 분야는 딥러닝과 이와 관련된 파이썬 프레임워크의 발전과 함께 계속 크게 성장해왔다. 그래서 이번에 출판된 버전에서는 예제들을 최신 파이썬 버전과 프레임워크로 업데이트 하였으며, 데이터 소스, 데이터 분석, 머신러닝 및 딥러닝 분야의 최신 방법을 반영해두었다. 또한 딥러닝 콘텐츠를 확장하여 텐서와 신경망을 추가하고, 파이토치로 텍스트 및 비전을 위한 모델을 만들 수 있도록 한다. 그리고 모델을 서빙하여 API로 제공하는 것 까지 추가하였다. 이 책의 좋은점 중 하나는 초보자들이 배우기 쉽게끔 코드를 복붙하기만 하면 짠 하고 돌아가도록 완성해두었다는 점이다. 보통 책에 있는 예제 코드들은 그대로 쓰면 라이브러리 ..

시대예보 : 핵 개인의 시대 - 송길영 요 근래 읽었던 책 중에 가장 꾹꾹 눌러 읽었던 책이다. AI 관련된 직종에 종사하면서 요즘 느낀점은 아 이러다 내가 사라질 수 있겠는데? 하며, 스스로 일을 없애고 있어서 현타가 왔었다. 그래서 앞으로 어떻게 커리어를 설정할지 몇개월동안 생각한 결과는 다음과 같다. 1. 최신기술 중 내가 잘 할 수 있는 분야 여러개 더 만들기. 2. 앞으로 AI 처럼 각광 받을 수 있는 분야 미리 준비하기. 이렇게 방향성을 잡아도 불안한 마음이 한켠에 있곤 했는데 ‘시대예보’ 책을 통해 방향성을 다듬었다. ‘일을 없애는 사람이 되자.’ 그리고 ‘사회적 기여를 하는 사람이 되자.’ 일 없애는 사람은 분명 사라지기 힘들 것이다. 여기에 더해 조직에서 나의 임무를 다하고 나면 다음에 ..

한빛미디어에서 출간된 인사이드 머신러닝 인터뷰 책은 펑샤오라는 사람이 지었다. 펑 샤오라는 사람은 15년동안 소셜 미디어, 광고 기술 등 다양한 분야에서 ML 리더십 직책을 맡아 천 명에 가까운 지원자를 면접했다. 현재는 트위터(X)에서 스태프 ML 엔지니어로 근무하면서 추천 알고리즘과 광고 에측 및 랭킹을 위한 ML 시스템을 설계했다. 천 명에 가까운 ML 관련 지원자를 면접할 만큼 면접에 대한 다양한 경험이 쌓였으니, 이 책은 머신러닝 직무 관련 면접을 앞두고 있는 사람들에게 큰 도움이 될 수 있다.  대부분 ML 관련 직무 면접은 신입 / 경력 이렇게 두 가지로 나뉘게 된다. 신입 때 봤던 면접 질문 같은 경우 ML 관련 기초 지식을 기반으로 물어보는 질문들이 굉장히 많았고, 경력 때 경험했던 면접..

저번 블로그 글에서는 Microsoft Azure를 통해 Prompt Flow를 구성해보는 예제를 실행해보았다. 이번에는 Cognitive search를 통해 Custom RAG 노드를 구성하는 방법에 대해 기록해보려고 한다. prompt flow github에 RAG 예제를 찾아봤는데 아직 예제 코드가 업로드 되기 전이라 직접 구성해보았다.   0. Cognitive search connection  먼저, RAG 노드를 구성하기 위해서는 Azure OpenAI, Cognitive search Connection 이 필요하다. (유료 리소스 플랜 필요)  api_key 와 api_base 그리고 name을 설정해주면 된다. api_key 및 api_base는 Microsoft Azure 계정에서 확인할..

0. Prompt Flow 란?Prompt flow는 아이디어 구상, 프로토타이핑, 테스트, 평가부터 프로덕션 배포 및 모니터링에 이르기까지 LLM 기반 AI 애플리케이션의 엔드투엔드 개발 주기를 간소화하도록 설계된 개발 도구 모음이다. Prompt Flow를 통해 엔지니어링을 쉽고 빠르게 수행할 수 있으며, LLM 어플리케이션을 구축할 수 있다. 이는 Microsoft에서 출시된 Azure AI를 이용하여 Prompt Flow를 구성할 수 있다.   1. 개발환경 설정 conda create --name pf python=3.9conda activate pf  2. prompt flow 설치하기  pip install promptflow promptflow-tools  3. promptflow 버전 체..

GitHub Codespaces 란?codespace는 클라우드에서 호스트되는 개발 환경이다. 각 codespace는 가상 머신에서 실행되는 Docker 컨테이너의 GitHub에 의해 호스팅된다. 2개 코어, 8GB RAM 및 32GB 스토리지, 최대 32개 코어, 64GB RAM 및 128GB 스토리지의 가상 머신 유형 중에서 선택할 수 있다. 기본적으로 codespace 개발 환경은 Ubuntu Linux 이미지에서 만들어진다. 즉, codespace는 로컬 운영 체제에 관계없이 Linux 환경에서 실행됩니다. Windows 및 macOS는 원격 개발 컨테이너에 대해 지원되지 않는다.  GitHub Codespaces 실행방법아래와 같이, Code 버튼을 누르면 Local 에서 받을지 Codespa..

pip 패키지로 설치했을 때 mmcv가 import 안되는 현상이 있다.  ModuleNotFoundError: No module named 'mmcv'  이럴 때 mmcv 대신 mmcv-full를 설치해주면 된다는 글이 있어서 시도해봤는데 똑같은 현상이 계속 일어났다. 그래서 결국 git에 있는 소스를 빌드해서 설치해주었다.  git clone https://github.com/open-mmlab/mmcv.gitMMCV_WITH_OPS=1 pip install -e .  그랬더니 아래와 같이 mmengine 이 없다길래 ModuleNotFoundError: No module named 'mmengine'  mmengine을 설치해주었더니 import 완료.  pip install mmengine   참..

리소스를 찾을 수 없다는 메세지가 나올 때는 아래 문서를 참고하여 해결하도록 하자. 제일 추천하는 방법은 리소스 속성을 확인하는 것이다. 나같은 경우는 api_base 값이 잘못들어가 있었다. https://learn.microsoft.com/ko-kr/azure/azure-resource-manager/troubleshooting/error-not-found?tabs=bicep 리소스를 찾을 수 없는 오류 - Azure Resource Manager 리소스를 찾을 수 없을 때 오류를 해결하는 방법을 설명합니다. Bicep 파일 또는 Azure Resource Manager 템플릿을 배포하거나 관리 작업을 수행할 때 오류가 발생할 수 있습니다. learn.microsoft.com

Microsoft Azure를 통해 Cognitive Search Service가 포함된 PromprtFlow를 구성 할 때, 아래와 같은 에러가 날 수 있다. To fix this issue, you need to select a plan of Semantic Search and enable the service in your Cognitive Search Service. 이 문제를 해결하려면 의미 체계 검색 계획을 선택하고 Cognitive Search Service에서 서비스를 활성화해야 합니다. 이럴 때는 아래와 같이 Microsoft Azure에서 설정을 변경하면 된다. 스택오버플로우나 공식 문서를 보면 Semantic search (Preview)를 찾으면 된다는데 한참 찾아도 없어서 보니 "..

Paper : https://arxiv.org/pdf/2404.05719.pdf 요즘 애플이 기존 인력을 AI 인력으로 재배치 하는 등 작정하고 4억 원 이상의 연봉을 제시하며 AI 인력 확보에 사활을 걸고 있다고 한다. 게다가 논문을 안내기로 유명했던 애플인데, Apple Research 결과를 보면 심심치 않게 논문이 쏟아져나오고 있는 상황이다. 그래서 나는 애플이 앞으로 어떤걸 보여줄지 개인적으로 많은 기대를 걸고 있다. (빨리 아이폰에 기깔난 AI 심어줘...) 애플이 앞으로 어떤걸 내놓을지 조금은 유추가능할만한 논문이 나왔다. 바로 Ferret-UI 라는 것이다. 요즘 나오는 multimodal large language models (MLLMs) 중에 사용자 인터페이스 화면을 이해하고 효과적..

OpenAI가 ChatGPT를 선보인 이후로 세상이 많이 달라졌다. 예를 들면 컴퓨터공학을 전공하지 않은 비전공자도 AI를 이용하여 이미지를 생성하거나, RAG를 활용하여 원하는 대답을 하는 챗봇을 만들거나 하는 등 AI 기술 접근가능성 역치가 엄청나게 낮아졌다. 이렇게 AI 기술 접근이 쉬워질 수 있었던 이유는 뭘까? 나는 web UI 하나로만 AI 모델을 돌려 볼 수 있는 hugging face와 각종 검색엔진에 플러그인으로 추가할 수 있는 OpenAI ChatGPT가 가장 많은 기여가 있지 않았나 생각해본다. 예전에 ResNet이 세상에 처음 등장했을 때 혹은 YOLO가 등장했을 당시, 논문에서 참고문헌을 보면 레퍼런스가 죄다 근 2-3년 안에 나온 논문들이 달아져있고, 6개월 마다 대단한 기술들..

윈도우 환경에서 SSH 접속 하기 위한 방법은 아래와 같다. 1. Windows 환경에서 OpenSSH 서버버전 설치하기 (클라이언트 버전은 이미 설치되어있음) 2. OpenSSH 설정 및 서버 구동하기 3. 끝 ! 1. Windows 환경에서 OpenSSH 서버버전 설치하기 먼저 아래와 같이 윈도우 설정 > 시스템 > 선택적 기능 > 선택적 기능 추가 > 기능 보기를 누른 뒤 OpenSSH 서버를 설치해준다. 참고로 기본 설정에서 클라이언트 버전은 이미 설치되어있다. 2. OpenSSH 설정 및 서버 구동하기 설치가 완료된 다음 서비스 설정 및 구동을 위해 powershell을 관리자 모드에서 열어준다. (관리자 모드 중요 ✅) 그 다음 아래 명령어를 통해 정상적으로 설치되어있는지 확인한다. Get-W..