本地部署 Stable Diffusion 3.5 + ComfyUI 实现文生图
Anthropic 正式发布 Stable Diffusion 3.5,这是它们迄今为止最强的模型,此公开版本包含多个型号变体,包括 Stable Diffusion 3.5 Large 和 Stable Diffusion 3.5 Large Turbo。此外,Stable Diffusion 3.5 Medium 将于 10 月 29 日发布。
这些模型的尺寸可高度定制,可在消费级硬件上运行,并且根据宽松的Stability AI 社区许可,可免费用于商业和非商业用途。
一、前置准备
本教程适用于对 AI 绘图有一定兴趣,想在本地部署 Stable Diffusion 模型的用户。部署目标是:
- 使用 ComfyUI 作为可视化工作流界面;
- 使用 Stable Diffusion 3.5 Large Turbo 模型;
- 实现完整的文本到图像生成过程。
二、下载安装 ComfyUI
首先,需要下载 ComfyUI 的 Windows 便携版:
- 访问 ComfyUI 官方 GitHub 发布页:https://github.com/comfyanonymous/ComfyUI/releases
- 下载最新版本的
ComfyUI_windows_portable
压缩包; - 解压至本地任意目录(建议路径中不要有中文或空格);
- 解压完成后目录结构大致如下:
ComfyUI/
├── run_cpu.bat
├── run_nvidia_gpu.bat
├── models/
│ ├── checkpoint/
│ ├── clip/
│ └── ...
└── ...
三、下载 Stable Diffusion 3.5 模型
Stable Diffusion 3.5 Large Turbo 是由 StabilityAI 发布的最新轻量版文生图模型:
- 登录 Hugging Face 网站(如没有账号请先注册);
- 前往模型下载页面:sd3.5_large_turbo.safetensors;
- 下载该模型文件,并放置到 ComfyUI 的以下目录:
ComfyUI/models/checkpoint/
四、下载所需的 CLIP 编码模型
Stable Diffusion 3.5 使用了多个文本编码器(CLIP 和 T5),这些模型文件也需要从 Hugging Face 下载:
下载以下三个模型:
text_encoders/clip_l.safetensors
text_encoders/clip_g.safetensors
text_encoders/t5xxl_fp8_e4m3fn.safetensors
如果你使用的是高端显卡(如 24GB 显存),可以尝试下载更精度的
t5xxl_fp16.safetensors
替换fp8
版本。
放置路径:
下载后的文件应放置在以下目录:
ComfyUI/models/clip/
五、加载官方示例工作流
为了更方便地体验 Stable Diffusion 3.5 的工作流程,Hugging Face 项目还提供了一个官方工作流 JSON 文件。
操作步骤:
下载该示例文件: SD3.5M_example_workflow.json
启动 ComfyUI 的本地服务:
- 如果使用的是 CPU,运行
run_cpu.bat
- 如果是 Nvidia 显卡用户,运行
run_nvidia_gpu.bat
(推荐)
- 如果使用的是 CPU,运行
浏览器打开 ComfyUI 前端界面,一般为: http://127.0.0.1:8188
将
SD3.5M_example_workflow.json
文件 直接拖拽 到 ComfyUI 的前端界面中,加载工作流。
六、配置 Triple CLIP Loader 节点
示例工作流加载完成后,需要手动在界面中设置 TripleCLIPLoader
节点,指定你下载的 CLIP 模型路径。
设置方法:
找到图中的
TripleCLIPLoader
节点;在其属性设置中,依次选择:
clip_l.safetensors
clip_g.safetensors
t5xxl_fp8_e4m3fn.safetensors
(或fp16
)
确保这三个模型都正确加载,后续的图像生成就能正常进行。
七、开始生成图像
至此,你已经完成了所有部署与配置工作!
在 ComfyUI 中,你可以:
- 自由修改 Prompt(提示词);
- 点击右上角运行按钮开始生成;
- 生成图像会在右侧展示结果,并可下载。
八、建议与补充
- 显存需求:建议至少 8GB 显存,若使用 T5 FP16 模型则需更高;
- 运行失败? 可查看命令行窗口输出的错误日志,常见问题包括显存不足或模型路径错误;
- 改进体验:可以尝试使用 ComfyUI Manager 插件 来快速安装更多节点和模型。
更新日志
23359
-new article于