Fannovel16 / sd-webui-additional-networks

Additional Networks for generating images

日本語の文章は下のほうにあります。

Updates / 更新情報

Stable Diffusion web UI now seems to support LoRA trained by sd-scripts. Thank you for great work!!!

Note: Currently the models trained by the scripts 0.4.0 and the models for SD 2.x does not seem to be supported in Web UI.

• Jan 24 2023, 2023/1/24:
  • Fix the LoRA model trained with sd-scripts 0.4.0 for SD2.x is not working.
  • sd-scripts の0.4.0以降で学習されたSD2.x用のLoRAが正しく動作しない不具合を修正しました。
• Jan 23 2023, 2023/1/23:
  • Fix an error with a model saved with bf16 in .pt or .ckpt format.
    • If you use bf16 with .pt/.ckpt, it seems to be required to disable safe-unpickle temporarily with --disable-safe-unpickle option for web UI. Please use .safetensors format for bf16.
  • bf16 で保存された.ptまたは.ckptのモデルが読み込めない不具合を修正しました。
    • これらのモデルをweb UIで読み込むには、--disable-safe-unpickle で一時的にweb UIの safe-unpickle を無効にする必要があるようです。bf16 での保存には .safetensors をお使いください。
• Jan 22 2023, 2023/1/22:
  • Add support for sd-scripts release 0.4.0.
    • alpha value for weights scaling is supported.
    • The models trained by the scripts before 0.4.0 are also supported.
  • Add new metadata.
  • sd-scripts のバージョン0.4.0に対応しました。
    • 重みを加減する alpha 値に対応しました。
    • 以前のバージョンで作成したモデルも引き続きサポートされます。
  • いくつかの新しいメタデータを追加しました。

About

This extension is for AUTOMATIC1111's Stable Diffusion web UI, allows the Web UI to add some networks (e.g. LoRA) to the original Stable Diffusion model to generate images. Currently LoRA is supported. The addition is on-the-fly, the merging is not required.

This extension supports the LoRA models (*.ckpt or *.safetensors) trained by our scripts in sd-scripts. The models from other LoRA implementations are not supported.

This extension does not support training.

Other networks other than LoRA may be supported in the future.

Installation

1. Open "Extensions" tab.
2. Open "Install from URL" tab in the tab.
3. Enter URL of this repo to "URL for extension's git repository".
4. Press "Install" button.
5. Restart Web UI.

How to use

Put the LoRA models (*.pt, *.ckpt or *.safetensors) inside the sd-webui-additional-networks/models/LoRA folder.

Open "Additional Networks" panel from the left bottom of Web UI.

Press "Refresh models" to update the models list.

Select "LoRA" for "Network module 1".

Choose the name of the LoRA model file in "Model 1".

Set the weight of the model (negative weight might be working but unexpected.)

Repeat them for the module/model/weight 2 to 5 if you have other models. Models are applied in the order of 1 to 5.

You can generate images with the model with these additional networks.

X/Y plot

If you use LoRA models to plot, put the comma separated list of the model names into AddNet Model X

You can get the list in Additional Networks tab on top of the UI. Select some model from Model dropdown, and push Get List button. The model list can be copied for X/Y values.

The metadata of the model can be drawn as legends. Move to Settings tab, select Additional Networks at left bottom, and set Metadata to show. Available values are in Network metadata textbox in Additional Networks tab.

この Web UI 拡張について

LoRA などのネットワークを元の Stable Diffusion に追加し、画像生成を行うための拡張です。現在は LoRA のみ対応しています。

この拡張で使えるのはsd-scriptsリポジトリで学習した LoRA のモデル（*.ckpt または *.safetensors）です。他の LoRA リポジトリで学習したモデルは対応していません。

この拡張単体では学習はできません。

将来的に LoRA 以外のネットワークについてもサポートするかもしれません。

インストール

1. Web UI で "Extensions" タブを開きます。
2. さらに "Install from URL" タブを開きます。
3. "URL for extension's git repository" 欄にこのリポジトリの URL を入れます。
4. "Install"ボタンを押してインストールします。
5. Web UI を再起動してください。

使用法

学習した LoRA のモデル(*.pt, *.ckpt, *.safetensors)をsd-webui-additional-networks/models/LoRAに置きます。

Web UI の左下のほうの "Additional Networks" のパネルを開きます。

"Network module 1" で "LoRA" を選択してください。

"Refresh models" で LoRA モデルのリストを更新します。

"Model 1" に学習した LoRA のモデル名を選択します。

"Weight" にこのモデルの 重み を指定します（負の値も指定できますがどんな効果があるかは未知数です）。

追加のモデルがある場合は 2～5 に指定してください。モデルは 1~5 の順番で適用されます。

以上を指定すると、それぞれのモデルが適用された状態で画像生成されます。

X/Y plot

LoRAモデルをX/Y plotの値（選択対象）として使う場合は、カンマ区切りのモデルのリストを与える必要があります。

モデルのリストはWeb UI上部の Additional Networks タブで取得できます。タブを開き、 Model ドロップダウンから適当なモデルを選択し、Get List ボタンを押してください。モデルのリストが表示されます。リストはコピーしてX/Y plotのvaluesに指定できます。

モデルのメタデータ（学習時のパラメータなど）をX/Y plotのラベルに使用できます。Web UI上部の Settings タブを開き、左下から Additional Networks を選び、 Metadata to show にカンマ区切りで項目名を指定してください（ss_learning_rate, ss_num_epochs のような感じになります）。使える値は Additional Networks の Network metadata 欄にある値です。