一、 MoCha介绍我们之前做视频人物主体替换用的一般是VACE或者animate，这两种技术都需要依赖于每帧遮罩和明确的结构指导（例如，姿势、深度），这种依赖使它们在涉及遮挡、罕见姿势、角色与对象交互或复杂照明的复杂场景中变得脆弱，通常会导致视觉伪影和时间不连续性。
今天来分享一个最新的，不需要姿势参考，只要首帧图+参考图就可以把视频的人物主体直接替换，非常的简单，这就是今天要分享的MoCha。
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
MoCha是最新的无需结构指导的端到端视频角色替换技术，要开始使用 MoCha 替换自己的角色，需要以下三个输入：
- 源视频：包含要替换的角色的原始视频。
- 第一帧的指定蒙版：标记源视频第一帧中要替换的源字符的蒙版。
- 参考图像：新角色的参考图像，以干净的背景替换。我们建议上传至少一张高质量的正面面部特写。
二、相关安装这里用的还是KJ的Wan插件，模型就一个，KJ的量化版本已经有了：https://huggingface.co/Kijai/Wan ... led/tree/main/MoCha
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
我文末也提供了网盘地址，自行前往获取
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
模型下载了放到diffusion_models目录下即可。
三、测评体验工作流已发Runninghub，前往体验or下载：
Mocha的工作流其实很简单的，不需要很复杂的视频遮罩也不需要多复杂的模型，我们来看看。
首先是模型加载，核心就用到2个模型，一个是Mocha大模型，另外再配一个lightx2v的加速模型就行了。
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
然后上传要处理的视频和参考图，对视频和参考图做下缩放处理。
我这里还额外对人像做了截取，后面参数要用上。
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
遮罩就更简单了，只要提取首帧图像的遮罩，我就简单用了SegmentAnything Ultra V2提取一下即可。
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
最后采样这边也很简单，核心是Mocha Embeds这个新节点，上传视频图像，遮罩以及参考图即可，没有其他多余的选项。
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
案例展示
这里提示词都不需要写，直接跑，下面是我跑的效果，还不错呢，二次元也可以替换哈哈。
不错吧。
注意事项
按官方作者的意思，这个模型挺废显存的，跑的也慢，我5秒跑1024分辨率费时15分钟，不过效果确实不错。
大家现在RH体验玩玩吧。
四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境，或者本地显卡配置低于 16G 的，可以使用嘟嘟部署的仙宫云镜像，可直接加载使用。后续分享的工作流都会更像到镜像中，一周更新一次，方便大学学习。
目前整合了2个镜像，一个是Flux绘图用的，另外一个是针对视频模型的，之所以分开是一些模型兼容问题，分开比较好处理。
镜像名称：嘟嘟AI绘画趣味学
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
视频主体替换新方案，MoCha 无需结构指导：首帧蒙版 + 参考图，直接换视频人物，罕见姿势 / 复杂光效都稳 ...
云平台镜像地址：
https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY
https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
新用户通过邀请码注册，总共可获得 8 元奖励，体验 4 个小时的 4090 作图时长。
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜