# LLM Inference with CTranslate2 on SageMaker

このプロジェクトには、SageMaker 上で Large Language Models (LLM) を高速で推論するために CTranslate2 使ってデプロイするサンプルノートブックが含まれています。

## ノートブック一覧

| ノートブック | 説明 |
| -------- | ----------- |
| [CTranslate2/OpenCALM_Inference_ja.ipynb](CTranslate2/OpenCALM_Inference_ja.ipynb) | OpenCALM を高速推論のために CTranslate2 を使用してデプロイ |
| [CTranslate2/OpenCALM_LoRA_ja.ipynb](CTranslate2/OpenCALM_LoRA_ja.ipynb) | OpenCALM の LoRA を高速推論のために CTranslate2 を使用してデプロイ |
| [CTranslate2/Rinna_Neox_Inference_ja.ipynb](CTranslate2/Rinna_Neox_Inference_ja.ipynb) | Rinna NeoX を高速推論のために CTranslate2 を使用してデプロイ |
| [CTranslate2/Rinna_Neox_LoRA_ja.ipynb](CTranslate2/Rinna_Neox_LoRA_ja.ipynb) | Rinna NeoX の LoRA を高速推論のために CTranslate2 を使用してデプロイ |