Alpaca-LoRAをlivedoorニュースコーパスでFineTuningさせるサンプルコード
pip install -r requirements.txt
livedoorニュースコーパスをダウンロードしてdataディレクトリの中に格納してください。
学習済みのデータや整形済みのデータも格納しているため、1や2の手順を飛ばして推論だけを行うことも可能です。
学習にはRTX3080で10時間ほどかかりました。
- 学習データの作成
python create_alpaca_format.py
- 学習
python finetune_livedoor_news.py
- 推論
python generate_news_title.py
