Comfyui中的模型训练：Diffusion_pipe_in_ComfyUI（支持win和linux）

项目简介

节点和环境网盘：https://pan.quark.cn/s/0f7dec91e7ca

win：https://github.com/TianDongL/Diffusion_pipe_in_ComfyUI_Win.git

wsl（linux）：https://github.com/TianDongL/Diffusion_pipe_in_ComfyUI.git

讲解视频：
https://www.bilibili.com/video/BV1h3s5zBE84/?vd_source=7fd137e57a445e84bd9ffea9b632c98d

https://www.bilibili.com/video/BV1c9xyzLEe7/?vd_source=7fd137e57a445e84bd9ffea9b632c98d

Diffusion-Pipe In ComfyUI 自定义节点是一个强大的扩展插件，为 ComfyUI 提供了完整的 Diffusion 模型训练和微调功能。这个项目允许用户在 ComfyUI 的图形界面中配置和启动各种先进 AI 模型的训练，支持 LoRA 和全量微调，涵盖了当前最热门的图像生成和视频生成模型。windows上16g可训练Qwen。

更新日志

20251026:评估支持

20251030:支持aura模型训练

快速开始

你可以使用我的配置好的便携式环境包：

https://huggingface.co/TianDongL/DiffusionPipeInComfyUI_Win

你仍然需要下载Microsoft MPI来为windows准备deepspeed的环境：https://www.microsoft.com/en-us/download/details.aspx?id=105289

下载后重新启动电脑

git clone --recurse-submodules https://github.com/TianDongL/Diffusion_pipe_in_ComfyUI_Win.git

• 如果你没有安装子模块，进行以下步骤
• 如果你不进行此步骤，训练将无法进行

git submodule init

git submodule update

conda环境安装指南

conda create -n comfyui_DP python=3.11

conda activate comfyui_DP

pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu128

你需要安装为win预编译的轮子，你可以在我的Releases中找到为其编译的轮子，此项目需要deepspeed==0.17.0 https://github.com/TianDongL/Diffusion_pipe_in_ComfyUI_Win/releases

pip install E:/ComfyUI/deepspeed-0.17.0+720787e7-cp311-cp311-win_amd64.whl

和flash-attn==2.8.1

pip install E:/ComfyUI/deepspeed-0.17.0+720787e7-cp311-cp311-win_amd64.whl

还有为win编译的bitsandbytes

pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-wheels/windows/index.html

cd /ComfyUI/custom_nodes/Diffusion_pipe_in_ComfyUI_Win.git

pip install -r requirements.txt

便携环境安装指南

• 你有义务备份你的便携式环境

• 我的轮子都是在Torch 2.7.1+cu128-cp311下编译的

如果你已经满足了对应的环境，跳过这步

E:/ComfyUI_windows_portable/python_embeded/python.exe -m pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu128

直接安装必要依赖

你需要安装为win预编译的轮子，你可以在我的Releases中找到为其编译的轮子，此项目需要deepspeed==0.17.0 https://github.com/TianDongL/Diffusion_pipe_in_ComfyUI_Win/releases

E:/ComfyUI_windows_portable/python_embeded/python.exe -m pip install E:/ComfyUI_windows_portable/python_embeded_DP/deepspeed-0.17.0+720787e7-cp311-cp311-win_amd64.whl

和flash-attn==2.8.1

E:/ComfyUI_windows_portable/python_embeded/python.exe -m pip install E:/ComfyUI_windows_portable/python_embeded_DP/flash_attn-2.8.1-cp311-cp311-win_amd64.whl

以及为win编译的bitsandbytes

E:/ComfyUI_windows_portable/python_embeded/python.exe -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-wheels/windows/index.html

cd /ComfyUI/custom_nodes/Diffusion_pipe_in_ComfyUI_Win.git

E:/ComfyUI_windows_portable/python_embeded/python.exe -m pip install -r requirements.txt

核心特性

• 🎯 可视化训练配置: 通过 ComfyUI 节点图形化配置训练参数
• 🚀 多模型支持: 支持 20+ 种最新的 Diffusion 模型
• 💾 灵活训练方式: 支持 LoRA 训练和全量微调
• ⚡ 高性能训练: 基于 DeepSpeed 的分布式训练支持
• 📊 实时监控: 集成 TensorBoard 监控训练过程
• 🎥 视频训练: 支持视频生成模型的训练
• 🖼️ 图像编辑: 支持图像编辑模型的训练

系统要求

硬件要求

• win上似乎16gVRAM可以训练Qwen，这让我很困惑

软件要求

• 操作系统: Windows 10/11
• ComfyUI: 最新版本

现在已经支持的模型包括：

Model	LoRA	Full Fine Tune	fp8/quantization
SDXL	✅	✅	❌
Flux	✅	✅	✅
LTX-Video	✅	❌	❌
HunyuanVideo	✅	❌	✅
Cosmos	✅	❌	❌
Lumina Image 2.0	✅	✅	❌
Wan2.1	✅	✅	✅
Chroma	✅	✅	✅
HiDream	✅	❌	✅
SD3	✅	❌	✅
Cosmos-Predict2	✅	✅	✅
OmniGen2	✅	❌	❌
Flux Kontext	✅	✅	✅
Wan2.2	✅	✅	✅
Qwen-Image	✅	✅	✅
Qwen-Image-Edit	✅	✅	✅
HunyuanImage-2.1	✅	✅	✅
AuraFlow	✅	❌	✅

节点实现

节点实现

节点实现

节点实现

节点实现

节点实现