JuwonOh / MLOps

👊 Build MLOps system step by step 👊

MLOps project

🚀 프로젝트 목표 🚀

지속가능한 AI 서비스를 위한 MLOps System 구성

• 1. 프로젝트 소개
• 2. 프로젝트 실행해보기
• 3. Phase2(2021.10.06 ~ 2021.11.13)
  • 3.1. Phase2 주요기능
    • 3.1.1. 전체 흐름도
    • 3.1.2. 실험관리 및 모델학습
    • 3.1.3. Inference API
  • 3.2. Phase2 트러블슈팅
• 4. Phase1(2021.08.28 ~ 2021.10.06)
  • 4.1. Phase1 주요기능
  • 4.2. Phase1 트러블슈팅

1. 프로젝트 소개

저희 프로젝트는 여러 Phase로 이루어져 있습니다. 현재 단락에서 각 Phase에 대하여 간략히 설명하였고, 각 단계에서 구현한 구체적인 내용에 대한 자세한 설명은 아래에 따로 기술하였습니다.

Phase 2

• Phase2에서는 MLOps level 1을 구현하기 위해 노력하였습니다.
• Git Action과 Kubernetes를 이용하여 CD/CT를 도입하였습니다.
• hyperparameter tuning process를 NNI에서 ray를 이용해 관리하는 것으로 변경하였습니다. 이로인하여 필요하지 않게된 코드들이 생겨났고 모두 deprecated로 이동하였습니다.
• Workflow관리도구로 prefect를 도입하였습니다.
• predict API를 처음 호출하였을 때 모델을 로딩하는 시간이 길어져 한번 호출된 모델은 일정시간 캐싱해두도록 변경하였습니다.
• 클러스터 모니터링을 위해 prometheus와 grafana를 도입하였습니다.
• 2021.10.06 ~ 2021.11.13 기간동안 진행되었으며 현재 개발종료되었습니다.

Phase 1

• Phase 1에서는 MLOps level 0를 구현하기 위해 노력하였습니다.
• NNI를 이용하여 hyperparameter tuning을 진행하며 학습된 모델에 대한 predict API와 모델학습 파이프라인을 실행시킬 수 있는 train API를 제공합니다.
• 2021.08.28 ~ 2021.10.06 기간동안 진행되었으며 현재 개발종료되었습니다.

2. 프로젝트 실행해보기

Phase2 프로젝트 실행해보기
Phase1 프로젝트 실행해보기

3. Phase2(2021.10.06 ~ 2021.11.13)

3.1. Phase2 주요기능

Phase2 단계에서는 MLOps level 1을 구현하기 위하여 노력하였습니다.

3.1.1. 전체 흐름도

3.1.2. 실험관리 및 모델학습

Model artifacts

• MLflow를 이용하여 Google Cloud Storage에 저장합니다.

성능평가지표, 점수, 각 실험에서 사용된 하이퍼파라미터

• MLflow를 이용하여 PostgreSQL에 저장합니다.

AutoML

• Ray tune을 이용하여 하이퍼파라미터 서칭을 합니다.

workflow management

• 처음엔 크론탭을 고려하였지만 최종적으로 Prefect를 사용하였습니다.
• web UI를 제공하여 수동으로 workflow를 실행할 수 있으며 실행 결과를 쉽게 확인할 수 있습니다.
• 주기적인 실행이 필요한 workflow들을 리눅스의 크론탭과 동일한 문법으로 정의할 수 있습니다.
  ex) 10 6 * * 1 → 매주 월요일 6시 10분에 workflow 실행

cluster monitoring

• GCP에서 서비스를 제공할 당시 클러스터의 가용자원 모니터링을 위하여 Prometheus와 Grafana를 도입하였습니다.
• 그라파나에서 제공중인 13077, 315 대시보드를 이용하였습니다.

3.1.3. Inference API

• ML파이프라인에 의해 생성된 모델을 이용한 inference 결과를 제공합니다.
• API server는 inference 요청이 들어오면 해당 모델이 캐싱되어있는지 확인한 후 없으면 MLflow server와 통신하여 모델을 로드한 후 요청사항을 처리하여 결과를 반환합니다.
• Fast API를 이용하였습니다.

3.2. Phase2 트러블슈팅

• Phase1에서는 NNI를 사용하였지만 다음과 같은 이유로 Ray Tune으로 변경하였습니다. 해결한 방법
• GCP로 서버를 이전한 후 MLflow에서 모델을 로드하는 시간이 약 10초로 매우 늦어졌습니다. 해결한 방법

4. Phase1(2021.08.28 ~ 2021.10.06)

4.1. Phase1 주요기능

• Phase1에서는 MLOps level 0를 구현하기 위하여 노력하였습니다.
• train은 experiments 폴더에 구성되어 있습니다.
  • 본 프로젝트에서는 어느정도의 자동화된 모습을 구현하기 위해 train을 api형태로 요청할 수 있게 구성하였습니다.
  • train 요청에따라 subprocess로 NNi를 이용한 hyper parameter tuning을 진행합니다.
  • 각 실험결과 best모델을 현재 저장된 모델 성능과 비교하여 db에 직렬화시켜 저장합니다.
• predict는 app/api/router/predict.py 에 구성되어 있습니다.
  • prediction요청에 따라 결과를 반환합니다.
  • temp예측의 경우 서버 시작시 모델을 로드하여 모델을 매번 읽어오지 않도록 합니다.
  • insurance예측의 경우 db에서 매번 모델을 읽어와 예측을 진행합니다.
• logger
  • 요청, 실험진행 등을 log로 남깁니다.

4.2. Phase1 트러블슈팅