223325qohuchfuvg119hc8.webp

我们之前做视频人物主体替换用的一般是VACE或者animate，这两种技术都需要依赖于每帧遮罩和明确的结构指导（例如，姿势、深度），这种依赖使它们在涉及遮挡、罕见姿势、角色与对象交互或复杂照明的复杂场景中变得脆弱，通常会导致视觉伪影和时间不连续性。

今天来分享一个最新的，不需要姿势参考，只要首帧图+参考图就可以把视频的人物主体直接替换，非常的简单，这就是今天要分享的MoCha。

MoCha是最新的无需结构指导的端到端视频角色替换技术，要开始使用 MoCha 替换自己的角色，需要以下三个输入：

• 源视频：包含要替换的角色的原始视频。
• 第一帧的指定蒙版：标记源视频第一帧中要替换的源字符的蒙版。
• 参考图像：新角色的参考图像，以干净的背景替换。我们建议上传至少一张高质量的正面面部特写。
  

• 项目地址：https://orange-3dv-team.github.io/MoCha/
• github地址：https://github.com/Orange-3DV-Team/MoCha
  

这里用的还是KJ的Wan插件，模型就一个，KJ的量化版本已经有了：https://huggingface.co/Kijai/Wan ... led/tree/main/MoCha

我文末也提供了网盘地址，自行前往获取

模型下载了放到diffusion_models目录下即可。

工作流已发Runninghub，前往体验or下载：

• Wan2.1 Mocha视频人物一键替换：https://www.runninghub.cn/post/1 ... iteCode=kol01-rh024
  

Mocha的工作流其实很简单的，不需要很复杂的视频遮罩也不需要多复杂的模型，我们来看看。

首先是模型加载，核心就用到2个模型，一个是Mocha大模型，另外再配一个lightx2v的加速模型就行了。

然后上传要处理的视频和参考图，对视频和参考图做下缩放处理。

我这里还额外对人像做了截取，后面参数要用上。

遮罩就更简单了，只要提取首帧图像的遮罩，我就简单用了SegmentAnything Ultra V2提取一下即可。

最后采样这边也很简单，核心是Mocha Embeds这个新节点，上传视频图像，遮罩以及参考图即可，没有其他多余的选项。

这里提示词都不需要写，直接跑，下面是我跑的效果，还不错呢，二次元也可以替换哈哈。

不错吧。

按官方作者的意思，这个模型挺废显存的，跑的也慢，我5秒跑1024分辨率费时15分钟，不过效果确实不错。

大家现在RH体验玩玩吧。

大家如果没有本地 ComfyUI 环境，或者本地显卡配置低于 16G 的，可以使用嘟嘟部署的仙宫云镜像，可直接加载使用。后续分享的工作流都会更像到镜像中，一周更新一次，方便大学学习。

目前整合了2个镜像，一个是Flux绘图用的，另外一个是针对视频模型的，之所以分开是一些模型兼容问题，分开比较好处理。

镜像名称：嘟嘟AI绘画趣味学

云平台镜像地址：

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册，总共可获得 8 元奖励，体验 4 个小时的 4090 作图时长。