아래와 같은 4개의 노트북과 3개의 한국어 LLM 및 1개의 한국어 임베딩 모델을 배포 해볼 수 있습니다.
- 1.Deploy-Kor-LLM-PythonSDK.ipynb
- Python SDK 로 오픈 소스 LLM 을 호스팅 및 실제 추론 결과를 보실 수 있습니다.
- 아래 2번을 먼저 실행하시고, 1번은 참조 확인 하세요.
- 2.Deploy-Kor-LLM-Boto3.ipynb
- Boto3 로 오픈 소스 LLM 을 호스팅 및 실제 추론 결과를 보실 수 있습니다.
- 다음의 모델을 노트북에서 모델을 선택하여 배포할 수 있습니다.
- Kullm-polyglot-12-8b-v2
- KoAlpaca-12-8B
- Polyglot-Kor-5-8B
- 3.Deploy-LLM-JS-AI21.ipynb
- AI21 Contexture Aware 모델 호스팅 입니다.
- 현재 유료이기에 참조만 하세요.
- 4.Kor-Embedding-Model.ipynb
- 허깅 페이스의 'BM-K/KoSimCSE-roberta' 한국어 임베딩 모델을 배포 및 추론 하는 예제 입니다.
Amazon SageMaker와 Amazon Opensearch로 RAG (Retrieval-Augmented Generation) 구현실습 - RAG (Retrieval-Augmented Generation)는 정보 검색과 텍스트 생성을 결합한 혁신적인 NLP 아키텍처입니다. 이번 실습에서는 RAG가 어떻게 Amazon Opensearch와 통합되어 외부의 신뢰할 수 있는 데이터베이스나 문서를 검색하는 과정을 강화하는지 간단한 실습을 통해 알아봅니다. 이 실습에서는 SageMaker Endpoint와 Amazon Openssearch에서 Embedding 데이터 입력, SDK, 그리고 LangChain 및 FAISS와 같은 오픈소스 소프트웨어를 통해 이러한 패턴을 구현하는 실무 경험을 쌓을 수 있습니다.
- Blog: Deploy BLOOM-176B and OPT-30B on Amazon SageMaker with large model inference Deep Learning Containers and DeepSpeed
- Blog: Deploy large models on Amazon SageMaker using DJL Serving and DeepSpeed model parallel inference
- SageMaker Large model inference tutorials
- Use DJL with the SageMaker Python SDK
- Example notebooks: AWS SageMaker examples GitHub repository.