22

主题

0

回帖

153

贡献

高级合伙人

积分
1708
嘟先生 2025-9-20 23:58:00 | 显示全部楼层 | 阅读模式

阿里开源 Wan2.2-Animate,统一角色动画与视频人物替换,骨架 / 表情双控 + Relighting LoRA 融景,商业价值高,附开源资源与工作流。

一、wan-animate介绍

阿里今天又出王炸了,这次新模型是Wan2.2-Animate,这是统一的角色动画和视频人物替换模型,这个商业价值极大啊。

最新Wan-Animate是基于 Wan-I2V 构建的,团队修改了其输入公式,以在通用符号表示下统一参考图像输入、时间帧引导和环境信息(用于双模兼容性)。对于身体运动控制,我们使用通过空间对齐合并的骨架信号。对于面部表情控制,我们利用从面部图像中提取的隐式特征作为驱动信号。此外,对于角色替换,我们训练了一个辅助的 Relighting LoRA,以增强角色与新环境的集成。

212555b48iewcxiiw97iyg.webp

来看一下官方的视频案例,太强了

应用场景
  • 性能再现:精确复现人物表演,保持原始动作和表情的准确性。

  • 跨风格迁移:将真人表演迁移到各种角色,实现风格转换。

  • 复杂动作合成:复制舞蹈动作等特殊动作,保持动作的流畅性和准确性。

  • 动态摄像机运动:生成包含摄像机运动的角色动作,增强视觉效果。

  • 角色替换:电影场景重想象、商业摄影广告编辑,实现创意内容创作。

  • 项目地址https://humanaigc.github.io/wan-animate/

  • 在线体验https://huggingface.co/spaces/Wan-AI/Wan2.2-Animate


二、相关安装

模型和工作流文末网盘下载!

首先更新KJ的插件:https://github.com/kijai/ComfyUI-WanVideoWrapper

最新的就支持了这个wan-animate。

模型需要下面这几个:

  • Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors: 存放路径:/ComfyUI/models/diffusion_models
  • WanAnimate_relight_lora:存放路径:/ComfyUI/models/loras
212555kp1e1pkeyki0sxdd.webp

三、测评体验

看了下官方文档,一共可以整理成如下几块功能:

  • 替换视频里面的主体(商用价值极大)
  • 参考视频姿势,让图像动起来

这2个之前在VACE里面其实也有,但是看官方案例,明显这个wan-animate会更强,我们就来对比下看看实际哪个效果更好。

3.1 替换视频里面的人主体(商用价值极大)
212555s0lnnsf11ll1ngsu.webp

wan-animate很有意思,算是把以前的很多功能都集成进来了,看下面这张图就是最关键的

212556d2oov5ynl3jbnsgo.webp

参考图、姿势图、脸型、背景、遮罩,这些东西通通都传进来,这样就可以很好的把主体迁移到指定的视频场景中,做到了主体替换的功能,效果比以前的VACE还要好,也算是垂直这个领域了。

模型加载的话,用到了如下几个

212556d8qvlov98oe40zqi.webp

本地显卡第的同学用FP8或者GGUF Q8模型。

这里遮罩提取采用的是SegmentAnythingUltra的方式来获取。

212556f24xzo55112v7kg5.webp

脸部提取以及姿势提取都走下面这块。

212556u66owr9eu4u9lu6r.webp
案例展示
3.2 参考视频姿势,让图像动起来
212557ywic7u7gimwxav3c.webp

姿势参考会比上面的主体替换简单,工作流基本一样,只是这里不需要提取遮罩,也不需要传入背景图。我们是直接让参考图根据视频的姿势来做调整。

这里核心就是不传入背景以及遮罩mask即可,很简单

212557vgg9eg8gfxnzzxg3.webp
案例展示

融合的效果非常的好,非常棒,感觉可以做更多的应用场景了。
四、在线使用
云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

镜像名称:嘟嘟AI绘画趣味学

212557mgke443k4z4gkysq.webp 212557wnwne3eoe2qe20cn.webp

云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长

RH平台

推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。

https://www.runninghub.cn/?inviteCode=kol01-rh024

212558d34z0wr4za6z7009.webp

主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024

212558xe5evw778v58r1ze.webp

五、总结

以上Wan最新的视频模型Wan2.2-Animate的介绍了,这个模型专注主体替换以及姿势参考,效果会比VAVE更好一些,后面等我挖掘出更多的商业化落地功能。

技术的迭代是飞快的,要关注最新的消息才不会掉队。

关注我,每天分享最新的ComfyUI技术前沿
模型工作流获取
本公众号对话框发送 250920 即可!
推荐阅读
妙啊!Qwen Image Edit 偏移问题方案升级,LoRA + 节点同步控,成功率暴涨|附工作流设计师狂喜!豆包 4 本地调用插件:火山方舟 API+200 张免费,电商图 / 创意图 2 毛 / 次速出创作者狂喜!Wan2.2 多图首尾帧串联:3 图 5 分钟出连贯长视频,剧情 / 产品视频无缝接|附工作流挖到宝!找了 N 久的 ComfyUI 分镜插件:comfyui_extractstoryboards 自动提帧 + 索引 640?wx_fmt.gif

有粉丝问我是如何学习AI的,我最主要的学习社群是在一个叫AI破局俱乐部的知识星球,目前人员5万多人,包含了最前沿的AI知识信息和相关教程,我同时也是里面的绘画方向的实战教练,每年有4-5次的为期21天的行动营(免费参与)。

下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容,信息资源(如AI带货,AI代写,AI自媒体,AI出海,AI办公、AI企培、AI编程、AI视频、AI智能体)。

对AI和破局不感兴趣的,三天体验不说话不学习的,打酱油的不要扫码添加,浪费名额会永久禁止加入!


212600ut1z4ie80oz1uvej.webp

更多AI绘画相关信息,可关注我的免费知识星球

212600y4e5n9cceh3rehh4.webp


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则