itsusony / llama3_japanese_gradio

Llama-3-8B-Japanese-Instruct Gradio Chat App

このREADME.mdファイルでは、Gradioを使用してLlama-3-8B日本語インストラクションモデルを使ったチャットアプリケーションのセットアップ方法を説明します。

#こちらのモデルを利用してます。ありがとうMr. haqishen
https://huggingface.co/haqishen/Llama-3-8B-Japanese-Instruct

必要なライブラリ

このプロジェクトでは、以下のライブラリが必要です：

• gradio
• transformers
• torch

インストール方法

ライブラリをインストールするには、以下のコマンドを実行します：

pip install gradio transformers torch

コードの説明

このコードは、以下のパラメータを設定しています：

• MODEL_ID: モデルのID
• MAX_MEMORY_WORDS: 最大メモリ単語数
• MAX_NEW_TOKENS: 最大新規トークン数
• TEMPERATURE: 生成温度
• TOP_P: トップP

pipelineは、指定されたモデルIDでテキスト生成パイプラインを設定します。

chat 関数はユーザーからのメッセージを処理し、応答を生成します。

実行方法

プログラムを実行するには、以下のコマンドを使用します：

python main.py

これにより、Gradioのチャットインターフェースが起動し、共有可能なリンクを通じてアクセスできます。

注意点

このアプリケーションはGPU環境での使用を前提としています。適切な設定とリソースが必要です。

その他

This readme is generated by gpt-4, thanks:)