一、什么是Steadydancer今天分享个腾讯开源的视频模型SteadyDancer,用来做视频姿势参考的,类似Animate。
简单来说,SteadyDancer 是一个基于 I2V(Image-to-Video,图生视频) 范式的人像动画框架。
它的核心功能非常直观:你给它一张静态的人物照片(参考图),再给它一段动作视频(骨架/Pose),它就能让照片里的人完美复刻视频中的动作,跳出一段流畅的舞蹈。
最重要的是,无论动作多复杂,它都能死死锁住第一帧的画面特征,确保人物的长相、衣着、背景在整个视频中不发生变形或改变。
特点:参考图身体不会被参考视频影响,还是保持原来身材比例,这个就是它最大的优点了。
核心痛点解决:为什么我们需要它?
目前的许多工具(如基于 Reference-to-Video R2V 范式的模型)在处理人像动画时,往往是将参考图“粘贴”到动作上。但当动作幅度过大,或者参考图与动作视频的空间结构不一致时(比如照片是半身,动作是全身),模型就会“脑补”错误,导致:
- ❌ 脸部变形:动起来像换了个人。
- ❌ 画面闪烁:背景或衣物纹理不稳定。
- ❌ 动作僵硬:为了保住脸,动作跟不上节奏。
SteadyDancer 的出现,就是为了解决这些“时空错位”带来的崩坏问题。
优点全汇总(划重点)
经过对技术论文和社区反馈的整理,SteadyDancer 相比 Wan Animate、MimicMotion 等现有工具,主要有以下几大碾压级优势:
- 🥇 极致的“首帧如一” (First-Frame Preservation) 这是 SteadyDancer 最大的杀手锏。它采用 I2V 范式,强制模型以第一帧图片为绝对基准。这意味着生成的视频中,人物的身份ID、面部细节、服装纹理将与你上传的原图保持高度一致,极大减少了“画风突变”的情况。
- 💃 复杂动作的精准复刻针对复杂的舞蹈动作(如快速旋转、大幅度肢体摆动),SteadyDancer 设计了“协同姿态调制模块”。它能智能地让动作去适应图片,而不是生硬地扭曲图片去凑合动作,从而生成更自然、符合人体工学的动态效果。
- 📉 训练成本更低,效率更高相比于那些需要吞噬海量算力的庞大模型,SteadyDancer 通过高效的“条件协调机制”,在保证高质量输出的同时,显著降低了训练所需的资源。这对开源社区和个人开发者来说是一个巨大的福音。
- 🧠 强大的泛化能力不仅是真人照片,无论是动漫风格、二次元角色,还是具有挑战性的遮挡场景,SteadyDancer 在新推出的 X-Dance Benchmark 测评中,均展现出了超越现有 SOTA(State-of-the-Art)模型的稳定性。
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
二、相关安装目前这个只在steadydancer分支上玩,所以想体验,需要切换分支
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
模型下载链接: https://hf-mirror.com/Kijai/WanV ... a323d0/SteadyDancer
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
看到这个32G,大家应该怕了吧,现在RH上面体验吧。
文末也提供了网盘链接!
三、测评体验工作流已发Runninghub,前往体验or下载:
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
模型这边核心加载两个模型,Wan21_I2V_SteadyDancer_fp16.safetensors以及加速模型 lightx2v
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
然后就是对参考图以及参考视频做处理,先对参考图做下缩放,传入到WanVideo ImageToVideo Encode中。
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
接着对参考视频,提取姿势图,这个也是最重要传入到采样中用。
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
WanVideo Add SteadyDancer Embeds这个就是新节点,用来接收姿势视频以及参考图的。
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
最后四步采样出视频,效率还是挺快的。
终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
案例展示
480x832分辨率81帧的视频,平均运行时长 3分25秒左右。
然后做个对比,就是用之前的WanAnimate的也跑一个,对比下视频。
怎样,很明显吧,WanAnimate里面的熊猫身体都被拉升了, 而SteadyDancer则保持的很好,真棒!
注意事项
可以看到,今天这个SteadyDancer对参考图身材比例保持的比较好,不会受到到姿势骨骼的影响,尽可能的保持原图效果。
真不错,对人脸的一致性保持的也相当的好。