|
大家好,我是嘟嘟,深耕ComfyUI赛道的程序员。
微信团队 Wan-Alpha 来了!基于 Wan2.1 T2V,直接生成带 Alpha 通道的透明视频,可以直接拖入剪映视频,好方便,快来体验。 一、Wan-Alhpa介绍今天来介绍下微信团队发布的一个基于Wan2.1 T2V的模型Wan-Alhpa,它可以使用 Alpha 通道生成高质量文本到视频,简单的说就是可以帮我们升成透明视频素材。
是不是还挺有意思,有了这个,我们就可以直接生成含有透明通道的视频素材,直接在剪映里面可以导入使用了。今天就来分享下这套工作流。 二、相关安装这里推荐安装乱神的插件,里面保存视频的节点做的比较好一些。 插件安装:https://github.com/yolain/SaveVideoRGBA 模型一种需要新增3个,一个lora,2个vace: - epoch-13-1500_changed.safetensors
- wan_alpha_2.1_vae_rgb_channel.safetensors.safetensors
- wan_alpha_2.1_vae_alpha_channel.safetensors.safetensors
下载地址:https://huggingface.co/htdong/Wan-Alpha_ComfyUI/tree/main
网盘我也会提供,统一放在wan2.1系类下面。
另外还需要配合wan2.1 T2V模型以及lightx2v加速模型使用,这个网盘之前都提供过,一共需要使用的模型目录如下 ComfyUI/models
├── diffusion_models
│ └── wan2.1_t2v_14B_fp16.safetensors
├── loras
│ ├── epoch-13-1500_changed.safetensors
│ └── lightx2v_T2V_14B_cfg_step_distill_v2_lora_rank64_bf16.safetensors
├── text_encoders
│ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
├── vae
│ ├── wan_alpha_2.1_vae_alpha_channel.safetensors.safetensors
│ └── wan_alpha_2.1_vae_rgb_channel.safetensors.safetensors
三、测评体验工作流已发Runninghub,前往体验or下载:
工作流不复杂,把上面的模型都加载进来就行,就是一个简单的文生视频工作流,最后用到乱神的插件合并视频就好。 这里要注意的是only_previdew这个不要选成true,不选的话才会在输出目录生成代透明通道的MOV格式的视频。
一只翅膀带粉白渐变纹路的小型蝴蝶,This video has a transparent background, 真实效果
一只皮卡丘玩偶,会自己动来动去,This video has a transparent background, 真实效果一只白色波斯猫,趴着,This video has a transparent background, 真实效果
一个直径 5cm 的浅橙迷你纸灯笼,随旋转轻微晃动,This video has a transparent background, 真实效果最后我把这些都放到剪映里面当素材视频,贴到背景视频的前面。
完整视频 注意事项
生成的视频素材尽量是单物品,这样效果才是最好的,最小单元,如果一下次生成多个,那后期想剥离素材反而变难了。 另外生成透明素材好像也是有概率的,需要抽卡。 总得来说,这个模型还不错,以后制作透明视频素材方便了。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。 |