62

主题

2

回帖

164

修为

绘灵

积分
350


AI 视频终于能跑“双人舞”了!最新开源 SCAIL 突破技术瓶颈,不仅完美支持多人同框互动,更解决了人物 360° 转身时的“脸崩”难题。本文实测多人大动作工作流,手把手教你复刻丝滑神作。

01. 视觉暴击:这真的是 AI 生成的?

兄弟们,ComfyUI 视频赛道又突破了。

本来以为 OneToAll 已经是年度最佳,结果昨天刷 Arxiv 看到这篇 SCAIL (Spatiotemporal Consistent Human Animation via In-Context Learning),跑完 Demo 我直接跪了。

这不仅是像,是“稳”得可怕。

以前我们做图生视频,最头疼的是什么?

  • 背景乱晃:人动了,背后的墙也跟着扭(果冻效应)。
  • 细节丢失:转身的时候,衣服上的花纹突然变了。

SCAIL 完全解决了这个问题。它生成的视频,人物动作丝滑流畅,背景却像焊死在这一样稳定。如果不看文件名,你很难相信这是 AI 算出来的。

02. 原理解析:它凭什么这么稳?

SCAIL 到底强在哪?

咱们用最通俗的逻辑捋一下。以前的 AI 像是“死记硬背”动作,一旦动作幅度大了,它就忘了你长啥样,导致脸崩或衣服变色。

SCAIL 采用了一种叫 In-Context Learning (上下文学习) 的技术。 这就像是你给画师(AI)看一眼参考图,然后在一旁实时指导:“你看,上一帧他的袖子是这样的,这一帧动作变了,但袖子还得是那个花纹,别给我画歪了。”

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

咱们看这张架构图,简单来说就三步:

  • 1、不只是看图,是看“关系”

    以前的模型只看这一帧长啥样。SCAIL 引入了一个机制,它会把参考图(Reference Image)和对应的动作(Pose)打包成一个“上下文对”(Context Pair)。

  • 2、实时抄作业

    在生成每一帧视频时,它都会回头去“查阅”这个上下文对。就好像考试的时候,它不仅看着题目(当前的动作),手里还捏着一本教科书(参考图的特征)。

  • 3、多尺度融合

    它在 UNet 的各个层级都做了特征对齐(Feature Alignment)。这就保证了不管是大轮廓(身材比例)还是小细节(衣服褶皱),都能精准复刻。


一句话总结: 它不是在“猜”下一帧长啥样,而是在根据上下文逻辑“推导”下一帧。

03. 实战复刻:SCAIL 工作流全拆解

超好玩,推荐给你!

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

这个工作流还是基于Wan2.1这个生态实现的,核心流程还是:

  • 模型加载
  • 视频姿势图生成(单人、双人)
  • 采样加载

模型这边,还是底模+lightx2v加速

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

入参这里还是很简单,上传视频、上传参考图,设置最长边长,以及填写简单的描述。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

这次这个流最核心的其实是视频姿势的提取,特别是双人的。

这里用到最新的一个插件:ComfyUI-SCAIL-Pose,这个插件也是用来提取姿势的,单人的情况下还是支持骨骼绑定,双人的话就不支持了,双人无法支持取面检测。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

核心节点如下图所示。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

黄色这个分组,如果是单人就开启,如果是双人就关闭。 单人情况下还是会骨骼绑定,这样视频的骨骼会根据参考图大小调整,双人的就不绑定骨骼,原视频大小多少就多少,下面这图就是对比,左边是开启后,右边是我特意不开启,明显右边有拉升。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

然后就是采样,这3个节点也是这次新添加的,用来介绍参考图以及前面生成的姿势参考。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

案例展示

来看几个我跑的视频,这次这个核心还是对多人的支持,以及转身后一致性的保持。

单人的同样很稳定~

之前的SteadDancer目前对多人的不支持的,我们看对比,第一个是用SteadDancer,第二个是用今天的SCAIL。

很明显对吧,SteadDancer用之前那个姿势提取出来的不对,没法支持多人的。最新的这个新插件对多人姿势提取的就很稳。

04. 避坑指南(踩坑实录)

这里有个问题要注意,如果你跑的时候遇到黑屏的背景,那就是谷歌图这边没做处理,KJ说骨骼视频必须是一半分辨率。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

还有,双人的时候,记得把骨骼参考屏蔽掉,因为面部检测不支持双人的。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

这样的话,双人的就做不了那种骨骼对齐了,所以双人参考图人物比例尽量还是大人正常身材比例。

05. 部署:保姆级教程
要想体验SCAIL,首先要切换到SCALL分支:https://github.com/kijai/ComfyUI-WanVideoWrapper/tree/SCAIL

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

另外还要安装个姿势的新插件:https://github.com/kijai/ComfyUI-SCAIL-Pose

相关的模型我也丢网盘了, 大家自行获取。

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...

SCAIL 炸场!首个搞定“多人互动”+“大角度转身”的开源工作流,建议立刻收藏 ...


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

© 2001-2025 BBS.Monster