ZHO-ZHO-ZHO / ComfyUI-PhotoMaker-ZHO

Unofficial implementation of PhotoMaker for ComfyUI

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

PNSTYLE_23png

ComfyUI PhotoMaker

Unofficial implementation of PhotoMaker for ComfyUI

Dingtalk_20240118163802

单张参考与多张参考的对比:

Dingtalk_20240117201650

Dingtalk_20240117201201

项目介绍 | Info

  • 来自对PhotoMaker的非官方实现

  • 版本:V2.5 支持lora、支持多批次、支持通用的styler

Dingtalk_20240119194547

视频演示

PHOTOMAKER.V2.0.mp4

节点说明 | Features

  • 基础模型加载 | base model loader

    • 📷Base Model Loader from hub🤗:支持从 huggingface hub 自动下载模型,输入模型名称(如:SG161222/RealVisXL_V3.0)即可
    • 📷Base Model Loader locally:支持加载本地模型(需 SDXL 系列模型)
  • PhotoMaker Adapter 模型加载 | PhotoMaker Adapter Loader

    • 📷PhotoMaker Adapter Loader from hub🤗:支持从 huggingface hub 自动下载模型
    • 📷PhotoMaker Adapter Loader locally:支持加载本地模型,输入 photomaker-v1.bin 模型所在路径即可
  • 参考图预处理 | 📷Ref Image Preprocessing

    • 直接模式 | Direct_input:接入单/多张图像(非必要项)
    • 路径模式 | Path_input:自动读取路径中的所有图像
  • Lora模型加载 | 📷LoRALoader 🆕

    • 支持加载本地 lora 模型
    • 支持权重调节
  • 提示词 + 风格 | 📷Prompt_Styler 🆕

    • 与各种提示词(文本)输入(如肖像大师等)、styler兼容
    • prompt、negative:正负提示词
    • 支持权重调节
    • style_name:支持官方提供的10种风格
      • (No style)
      • Cinematic
      • Disney Charactor
      • Digital Art
      • Photographic (Default)
      • Fantasy art
      • Neonpunk
      • Enhance
      • Comic book
      • Lowpoly
      • Line art
  • PhotoMaker 生成 | 📷PhotoMaker Generation 🆕

    • pipe:接入模型
    • pil_image:接入预处理图像
    • positivet、negative:正负提示词
    • batch_size:生成数量
    • style_strength_ratio:风格混合强度(高于30按30计算)
    • step:步数,官方默认50步,但毕竟是基于SDXL模型,我实测下来30步足够了
    • guidance_scale:提示词相关度,一般默认为5
    • width、height:尺寸设置(需1024维度)
    • seed:种子

风格 | Styles

PNSTYLE_2

安装 | Install

  • 手动安装:
    1. cd custom_nodes
    2. git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker.git
    3. cd custom_nodes/ComfyUI-PhotoMaker
    4. pip install -r requirements.txt
    5. 重启 ComfyUI

工作流 | Workflows

(注:特意补充了 V2.5 的基础工作流,V2.0 工作流已弃用)

更新日志

  • 20240122

    新增 Disney-Character: PhotoMaker + DragNUWA 工作流,可配合 DragNUWA 融合多个人物特征生成迪士尼风格大片!

  • 20240121

    修复 bfloat16 bug

  • 20240120

    补充两个基础工作流

  • 20240119

    更新为 V2.5:支持lora、支持自定义生成数量、支持通用提示词输入(文本)如:styler、portraitmater等

    新增 lora + batch、portraitmaster + styler + lora 两个工作流

  • 20240119

    更新为 V2.1:参考图改为直接输入/路径输入两种新模式,其中直接输入支持多图

    Dingtalk_20240119022341

  • 20240118

    更新为 V2.0:节点拆分 + 支持本地模型 + 支持自定义尺寸 +提速3倍

    新增本地、hub加载工作流

  • 20240117

    新增单张图输入,并给出对比图

    修复bug,初版上线

  • 20240116

    创建项目

速度实测 | Speed

  • V2.0 提速 3 倍

    • A100 50步 7s

    image

  • V1.5

    • A100 50步 23s

    image

    • v100 50步 90s

    image

Stars

Star History Chart

关于我 | About me

📬 联系我

🔗 社交媒体

💡 支持我

Credits

感谢@erLin对ComfyUI 的图像张量 Shape (N, H, W, C)的提醒,帮助我成功修复了bug!

PhotoMaker

About

Unofficial implementation of PhotoMaker for ComfyUI

License:GNU General Public License v3.0


Languages

Language:Python 100.0%