Stable Diffusionの呪文

ydlprog — Sun, 25 Jun 2023 11:03:15 +0000

キャラクターシート風

呪文は、背景を消す為に「gray background,flat background,simple background,」
同じ見た目になるように「multiple poses and expressions, character sheet,」
成功率は10%程度

gray background,flat background,simple background,multiple poses and expressions, character sheet,

ControlNet の OpenPose にポージングデータを設定
右向きの右足が、手前を向いてしまうことが多いの要検討

【中間報告】3D×AI による Rendering 実験｜下水きゅうそ

English Version: 3D×AI Rendering Experiment | by NeoClassicalRibbon | May, 2023 | Medium 現在進めている個人研究について、一旦中間的な成果がまとまったの...

服装が揃わない

アニメ系のモデルに、 character sheet を指定すると学習データの痕跡が

Stable Diffusion(ステーブルディフュージョン)の使い方

ydlprog — Sun, 11 Jun 2023 04:44:59 +0000

はじめに
Stable Diffusionのインストール
Stable Diffusionの起動
Stable Diffusionのアップデート
おすすめ拡張機能
その他の入れておく物
LoRAデータの自作
1. sd-script環境の構築
2. 学習データの準備(DreamBooth、キャプション方式)

はじめに

セキュリティの観点から、今回は全てDocker Desktopにインストールしていきます
i9-13900KF+RTX4070Ti+Mem32(頻繁に使わないのでHDDにインストール)

Stable Diffusionのインストール

PowerShellを起動し、インストールしたい場所で
フォークされたリポジトリに変更(25/05/05)

git clone https://github.com/simonmcnair/stable-diffusion-webui-docker.git

docker-compose.yml を編集し、TimeZone を指定しておきます

  auto: &automatic
    <<: *base_service
    profiles: ["auto"]
    build: ./services/AUTOMATIC1111
    image: sd-auto:58
    environment:
      - CLI_ARGS=--allow-code --medvram --xformers --enable-insecure-extension-access --api
      - TZ=Asia/Tokyo

コンテナの作成(HDD 10分程度、SSD 5分程度)
Docker Desktopは事前に起動しておく

cd stable-diffusion-webui-docker
docker compose --profile download up --build

Stable Diffusionの起動

Docker Desktopは事前に起動しておく
初回はセットアップが入るためHDDで30分程度時間がかかります(SSDなら5分程度)

docker compose --profile auto up --build

webui-docker-auto-1  | Running on local URL:  http://0.0.0.0:7860
webui-docker-auto-1  | 
webui-docker-auto-1  | To create a public link, set `share=True` in `launch()`.
webui-docker-auto-1  | Startup time: 5.3s (import torch: 1.2s, import gradio: 0.9s, import ldm: 0.2s, other imports: 1.5s, list SD models: 0.1s, load scripts: 0.3s, create ui: 0.5s, gradio launch: 0.2s).
webui-docker-auto-1  | Creating model from config: /stable-diffusion-webui/configs/v1-inference.yaml
webui-docker-auto-1  | LatentDiffusion: Running in eps-prediction mode
webui-docker-auto-1  | DiffusionWrapper has 859.52 M params.
webui-docker-auto-1  | Loading VAE weights specified in settings: /stable-diffusion-webui/models/VAE/pastel-waifu-diffusion.vae.pt
webui-docker-auto-1  | Applying optimization: xformers... done.
webui-docker-auto-1  | Textual inversion embeddings loaded(0):
webui-docker-auto-1  | Model loaded in 11.7s (load weights from disk: 2.1s, create model: 0.5s, apply weights to model: 8.6s, apply half(): 0.2s, load VAE: 0.4s).

Running on local URL と表示されたら起動完了
ブラウザで http://127.0.0.1:7860/ にアクセス
停止する場合は、PowerShell上で、Ctrl+C

Stable Diffusionのアップデート

アップデート(SSD 60分程度)、作り直したほうが早いですね

git pull
docker compose --profile auto build --no-cache

その他の入れておく物

EasyNegativeV2
ネガティブプロンプト入力の簡略化
EasyNegativeV2.safetensors をダウンロードし、data/embeddings へ
使い方はネガティブプロンプトへ EasyNegativeV2 を指定するだけ

LoRAデータの自作

sd-script環境の構築

https://blog.shikoan.com/kohya-lora-docker/
40分ぐらい

学習データの準備(DreamBooth、キャプション方式)

Lora
  
  
  dataset.toml

連番画像ファイルと、連番キャプションファイルを用意します
画像は.png, .jpg, .jpeg, .webp, .bmp

キャプションの付け方
強く印象づけたい単語は削除、呪文に指定しないと対象外になるため

拡張機能	概要	URL
ja_JP Localization	日本語化「Settings」「User interface」「Localization 」で「ja_JP」を選択	https://github.com/AI-Creators-Society/stable-diffusion-webui-localization-ja_JP
sd-webui-controlnet	色々な方法で生成画像を指定ができる拡張機能	https://github.com/Mikubill/sd-webui-controlnet.git
openpose-editor	controlnet用の棒人間エディター	https://github.com/fkunn1326/openpose-editor.git
Stable-Diffusion-Webui-Civitai-Helper	Civitai用Helper	https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper.git
ABG Remover	背景を透明化	https://github.com/KutsuyaYuki/ABG_extension
sdweb-easy-prompt-selector	プロンプトをプリセットから選択	https://github.com/blue-pen5805/sdweb-easy-prompt-selector

StableDiffusion | YdlProg