62

主题

2

回帖

164

修为

绘灵

积分
350
嘟先生 2025-12-3 00:00:00 | 显示全部楼层 | 阅读模式

腾讯SteadyDancer开源!独创“首帧锁死”技术,任动作狂舞,人脸衣着背景全程零变形,彻底终结AI视频画面崩坏,让图生视频稳如泰山!

一、什么是Steadydancer

今天分享个腾讯开源的视频模型SteadyDancer,用来做视频姿势参考的,类似Animate。

简单来说,SteadyDancer 是一个基于 I2V(Image-to-Video,图生视频) 范式的人像动画框架。

它的核心功能非常直观:你给它一张静态的人物照片(参考图),再给它一段动作视频(骨架/Pose),它就能让照片里的人完美复刻视频中的动作,跳出一段流畅的舞蹈。

最重要的是,无论动作多复杂,它都能死死锁住第一帧的画面特征,确保人物的长相、衣着、背景在整个视频中不发生变形或改变。

特点:参考图身体不会被参考视频影响,还是保持原来身材比例,这个就是它最大的优点了。

核心痛点解决:为什么我们需要它?

目前的许多工具(如基于 Reference-to-Video R2V 范式的模型)在处理人像动画时,往往是将参考图“粘贴”到动作上。但当动作幅度过大,或者参考图与动作视频的空间结构不一致时(比如照片是半身,动作是全身),模型就会“脑补”错误,导致:

  • 脸部变形:动起来像换了个人。
  • 画面闪烁:背景或衣物纹理不稳定。
  • 动作僵硬:为了保住脸,动作跟不上节奏。

SteadyDancer 的出现,就是为了解决这些“时空错位”带来的崩坏问题。

优点全汇总(划重点)

经过对技术论文和社区反馈的整理,SteadyDancer 相比 Wan Animate、MimicMotion 等现有工具,主要有以下几大碾压级优势:

  • 🥇 极致的“首帧如一” (First-Frame Preservation) 这是 SteadyDancer 最大的杀手锏。它采用 I2V 范式,强制模型以第一帧图片为绝对基准。这意味着生成的视频中,人物的身份ID、面部细节、服装纹理将与你上传的原图保持高度一致,极大减少了“画风突变”的情况。
  • 💃 复杂动作的精准复刻针对复杂的舞蹈动作(如快速旋转、大幅度肢体摆动),SteadyDancer 设计了“协同姿态调制模块”。它能智能地让动作去适应图片,而不是生硬地扭曲图片去凑合动作,从而生成更自然、符合人体工学的动态效果。
  • 📉 训练成本更低,效率更高相比于那些需要吞噬海量算力的庞大模型,SteadyDancer 通过高效的“条件协调机制”,在保证高质量输出的同时,显著降低了训练所需的资源。这对开源社区和个人开发者来说是一个巨大的福音。
  • 🧠 强大的泛化能力不仅是真人照片,无论是动漫风格、二次元角色,还是具有挑战性的遮挡场景,SteadyDancer 在新推出的 X-Dance Benchmark 测评中,均展现出了超越现有 SOTA(State-of-the-Art)模型的稳定性。

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!
二、相关安装

目前这个只在steadydancer分支上玩,所以想体验,需要切换分支

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

模型下载链接: https://hf-mirror.com/Kijai/WanV ... a323d0/SteadyDancer

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

看到这个32G,大家应该怕了吧,现在RH上面体验吧。

文末也提供了网盘链接!

三、测评体验

工作流已发Runninghub,前往体验or下载:

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

模型这边核心加载两个模型,Wan21_I2V_SteadyDancer_fp16.safetensors以及加速模型 lightx2v

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

然后就是对参考图以及参考视频做处理,先对参考图做下缩放,传入到WanVideo ImageToVideo Encode中。

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

接着对参考视频,提取姿势图,这个也是最重要传入到采样中用。

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

WanVideo Add SteadyDancer Embeds这个就是新节点,用来接收姿势视频以及参考图的。

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

最后四步采样出视频,效率还是挺快的。

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

终于!AI跳舞不再“变脸”,SteadyDancer 焊死原图细节!

案例展示

480x832分辨率81帧的视频,平均运行时长 3分25秒左右。

然后做个对比,就是用之前的WanAnimate的也跑一个,对比下视频。

怎样,很明显吧,WanAnimate里面的熊猫身体都被拉升了, 而SteadyDancer则保持的很好,真棒!

注意事项

可以看到,今天这个SteadyDancer对参考图身材比例保持的比较好,不会受到到姿势骨骼的影响,尽可能的保持原图效果。

真不错,对人脸的一致性保持的也相当的好。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

© 2001-2025 BBS.Monster