|
Wan‑Move 是一套可实现细粒度动作控制的视频生成框架,基于 latent trajectory guidance,能在现有图像‑到‑视频模型上无缝加入点级运动控制,生成高质量可控动态场景。 一、项目简介:什么是 Wan‑Move?Wan‑Move 是由 Alibaba TongYi Vision Intelligence Lab 发布的一个 NeurIPS 2025 AI 视频生成研究项目实现代码库。它提出了一种 运动可控的视频生成框架,改善传统方法中控制粗糙、扩展性差的问题。
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
一句话概括:将 Wan I2V 带到 SOTA 精细化、点级运动控制!有点意思~ 说白了就是可以对图片做轨迹编辑,然后转成视频的时候就按我们要求的轨迹运动,之前我也分享过其他的实现方案,听说这个更厉害,这个就等一会实测了。 核心技术亮点
- 🎯 高质量 5 秒 480p 运动控制 :通过规模化训练,Wan-Move 可以生成 5 秒 480p 视频,其运动控制能力与 Kling 1.5 Pro 等商业系统 Motion Brush 相当,并通过用户研究验证了这一点。
- 🧩 新型潜在轨迹引导 :我们的核心思想是通过沿轨迹传播第一帧的特征来表示运动状态,这可以无缝集成到现成的图像到视频模型(例如 Wan-I2V-14B)中,而无需任何架构更改或额外的运动模块。
- 🕹️ 精细的点级控制 :物体运动以密集的点轨迹表示,从而可以精确地、区域级地控制场景中每个元素的运动方式。
- 📊 专用运动控制基准测试 MoveBench :MoveBench 是一个精心策划的基准测试,具有更大规模的样本、多样化的内容类别、更长的视频持续时间和高质量的轨迹注释。
不错不错,看介绍挺不错。 昨天12月10号,KJ已经集成到Wan插件里面了,大家可以更新玩起来。 二、相关安装需要用到两个插件 大家都更新到最新即可。 模型的话,文末网盘给大家提供了,大家按需下载。 三、使用说明超好玩,推荐给你!
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
模型加载还是一个主模型+一个加速模型,wan2.1那一套。
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
这里比较新的是一个轨迹线的描绘,上面让大家升级Kjnodes插件,就是这里要用到,用到的节点叫曲线编辑器,和以前的点编辑器类似,不过这个是用来画轨迹线的。 这种要画线条的,一般都是先把图加载进来,先执行一遍,等图片进来了,就停止运行,然后就可以点击底部的 New Canvas来重置下画布,就会看到一根线条了。 可以移动箭头,默认这条线里面有3个节点箭头,把箭头摆放到指定的位置就行。
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
如果你想新增一个轨迹控制点,就对着这个界面右键,选择Add new Spline就行
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
如果你想新增轨迹里面的节点,就按shift+鼠标左键
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
线条画好了,就可以往后执行了。 核心是节点WanVideo Add WanMove Tracks
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
把前面的图像以及轨迹坐标传过来,就可以传入采样器了。 采样器这边跑4-6步都行。
阿里开源Wan-Move,将Wan图生视频带到SOTA精细化、点级运动控制!
案例展示
我跑832分辨率,RH上跑了2分钟就出来了81帧的视频,速度还行。
看效果还行,会比以前的轨迹强一些。 |