Skip to content

本地部署 Stable Diffusion 3.5 + ComfyUI 实现文生图

约 878 字大约 3 分钟

AI

2025-03-02

Anthropic 正式发布 Stable Diffusion 3.5,这是它们迄今为止最强的模型,此公开版本包含多个型号变体,包括 Stable Diffusion 3.5 Large 和 Stable Diffusion 3.5 Large Turbo。此外,Stable Diffusion 3.5 Medium 将于 10 月 29 日发布。
这些模型的尺寸可高度定制,可在消费级硬件上运行,并且根据宽松的Stability AI 社区许可,可免费用于商业和非商业用途。


一、前置准备

本教程适用于对 AI 绘图有一定兴趣,想在本地部署 Stable Diffusion 模型的用户。部署目标是:

  • 使用 ComfyUI 作为可视化工作流界面;
  • 使用 Stable Diffusion 3.5 Large Turbo 模型;
  • 实现完整的文本到图像生成过程。

二、下载安装 ComfyUI

首先,需要下载 ComfyUI 的 Windows 便携版:

  1. 访问 ComfyUI 官方 GitHub 发布页:https://github.com/comfyanonymous/ComfyUI/releases
  2. 下载最新版本的 ComfyUI_windows_portable 压缩包;
  3. 解压至本地任意目录(建议路径中不要有中文或空格);
  4. 解压完成后目录结构大致如下:
ComfyUI/
├── run_cpu.bat
├── run_nvidia_gpu.bat
├── models/
│   ├── checkpoint/
│   ├── clip/
│   └── ...
└── ...

三、下载 Stable Diffusion 3.5 模型

Stable Diffusion 3.5 Large Turbo 是由 StabilityAI 发布的最新轻量版文生图模型:

  1. 登录 Hugging Face 网站(如没有账号请先注册);
  2. 前往模型下载页面:sd3.5_large_turbo.safetensors
  3. 下载该模型文件,并放置到 ComfyUI 的以下目录:
ComfyUI/models/checkpoint/

四、下载所需的 CLIP 编码模型

Stable Diffusion 3.5 使用了多个文本编码器(CLIP 和 T5),这些模型文件也需要从 Hugging Face 下载:

下载以下三个模型:

  • text_encoders/clip_l.safetensors
  • text_encoders/clip_g.safetensors
  • text_encoders/t5xxl_fp8_e4m3fn.safetensors

如果你使用的是高端显卡(如 24GB 显存),可以尝试下载更精度的 t5xxl_fp16.safetensors 替换 fp8 版本。

放置路径:

下载后的文件应放置在以下目录:

ComfyUI/models/clip/

五、加载官方示例工作流

为了更方便地体验 Stable Diffusion 3.5 的工作流程,Hugging Face 项目还提供了一个官方工作流 JSON 文件。

操作步骤:

  1. 下载该示例文件: SD3.5M_example_workflow.json

  2. 启动 ComfyUI 的本地服务:

    • 如果使用的是 CPU,运行 run_cpu.bat
    • 如果是 Nvidia 显卡用户,运行 run_nvidia_gpu.bat(推荐)
  3. 浏览器打开 ComfyUI 前端界面,一般为: http://127.0.0.1:8188

  4. SD3.5M_example_workflow.json 文件 直接拖拽 到 ComfyUI 的前端界面中,加载工作流。


六、配置 Triple CLIP Loader 节点

示例工作流加载完成后,需要手动在界面中设置 TripleCLIPLoader 节点,指定你下载的 CLIP 模型路径。

设置方法:

  1. 找到图中的 TripleCLIPLoader 节点;

  2. 在其属性设置中,依次选择:

    • clip_l.safetensors
    • clip_g.safetensors
    • t5xxl_fp8_e4m3fn.safetensors(或 fp16

确保这三个模型都正确加载,后续的图像生成就能正常进行。


七、开始生成图像

至此,你已经完成了所有部署与配置工作!

在 ComfyUI 中,你可以:

  • 自由修改 Prompt(提示词);
  • 点击右上角运行按钮开始生成;
  • 生成图像会在右侧展示结果,并可下载。

八、建议与补充

  • 显存需求:建议至少 8GB 显存,若使用 T5 FP16 模型则需更高;
  • 运行失败? 可查看命令行窗口输出的错误日志,常见问题包括显存不足或模型路径错误;
  • 改进体验:可以尝试使用 ComfyUI Manager 插件 来快速安装更多节点和模型。

更新日志

2025/6/16 07:14
查看所有更新日志
  • 23359-new article