|
大家好,我是嘟嘟,深耕ComfyUI赛道的程序员。 Wan2.2 图生视频出无限版本!用 for 循环将尾帧当首帧,突破 5-8 秒限制,拆解国外大佬原版工作流,附资源帮创作者实现长视频生成 一、Wan2.2循环无限生成今天给大家分享下Wan2.2图生视频无限版本,这方面的需求大家应该都有,正常的图生视频其实是有限制的,一般就是5-8秒就差不多了,然后提示词也无法有太多内容,写多了也不一定按要求生成。 那这次的工作流版本就是把for循环加上,直接利用上一次生成的视频尾帧当做下一次调用的首帧图,这样就可以实现了无限生成的版本。 今天就来给大家拆解下,这个流原版是国外的大佬发布的。 二、工作介绍工作流已发Runninghub,可在线运行: 这个流还挺长,不过我整理了下,整整齐齐,看着都舒服。
流分成三大块,分别是: - 全局参数和模型的加载
- 第一次视频生成流程
- for循环生成视频
2.1 全局参数和模型的加载
先来看基础,这里用的都是wan2.2的模型,lightx2v都用2.2的,不过这次用的是官版的。 然后视频参数这里就是常规的帧率、总帧数、每次循环的帧数等。 这里我们先填写下第一次采样的提示词以及首帧的图片
2.2 第一次视频生成流程
这里采样和以前用法不大一样呢,这次用了三次采样方式,高噪部分分两次处理,然后再接低噪出图,这里的目的是为了让视频有更高的构图效果,所以高噪分了两块,一块是不用加速模型,直接满配的CFG3.5的,第二部分再用加速模型的。 整体测试下来不错,大家可以学习下这种采样方式。 2.3 for循环生成视频
现在我们有了第一个视频了,接下来就是利用for循环来重复采样
首先是for循环的接入
我们先利用公式ceil((a-b)/c)算出还需要执行的总次数,然后就开始执行循环,把上一个视频的尾帧当做参考图传入到WanImageToVideo中。 每次的提示词也是对应起来的,这里根据for循环的索引来自动匹配,大家提前把后面镜头的提示词都写好了,一行一个镜头。
最后的采样环节和第一次采样一样,都是采用三次采样。这种效果会比平时的更好一些。 案例展示 镜头从远处拉近,展示背景城市夜景灯光和摩天轮的全景。镜头缓慢移动,突出摩天轮的旋转、流光溢彩的效果,同时穿插街道上的繁忙景象,如行人、路灯和车辆。角色站在栏杆前,从背后拿出一个炸鸡腿,开心的吃了起来。
女人丢掉炸鸡腿,从身后拿出一瓶啤酒喝了起来。
女人丢掉手里的啤酒,双手举过头顶开始扭动身体跳舞霸王龙巨大而狰狞的嘴巴突然进入完整视野,震撼感扑面而来。远处的草地和薄雾增添了神秘气氛。
帐篷内的人吓得用力拉下帐篷的拉链,关上帐篷
帐篷内的人又拉开了帐篷的拉链,外面变成了一个人画面内容:白色竞速摩托车载着全黑装备的车手,在专业赛道上高速飞驰。车身 “43” 号与机械细节清晰,车手紧贴车身呈现流线竞技姿态;背景观众席人群因速度产生动态模糊,蓝天与白云流动感渐强,营造强烈速度氛围。镜头运动:初始为摩托车的近距离追踪镜头,后缓缓拉远并轻微下俯,既展现车手操控细节,又突出前轮动态与赛道标线的相对运动。结束画面:摩托车行驶至画面右侧 1/3 处,前轮带起轻微 “翘头” 效果(凸显动力),车手头部向右侧偏转;背景观众席更清晰,天空云朵流动感加剧,为下一分镜的 “并行竞技” 铺垫。
画面内容:一辆红色竞速摩托车从画面左侧迅猛切入,与白色摩托车形成 “并行竞技” 态势。两车车手姿态紧绷,仿佛有眼神或肢体的竞技互动;背景观众席爆发出更热烈的欢呼,音效从 “单骑风噪” 转为 “双车轰鸣 + 人群欢呼” 的混合声。镜头运动:切换为广角跟拍镜头,伴随轻微旋转,完整捕捉两辆摩托车并行冲刺的紧张感,同时展现赛道宽度与观众夹道的竞技氛围。结束画面:白色摩托车以半个车身的优势略微领先红色摩托车,两车共同冲向画面远处的弯道入口;观众席在画面两侧形成 “夹道聚焦” 效果,天空有飞鸟掠过(增添动态层次)。
画面内容:两辆摩托车冲入弯道,白色摩托车率先大幅倾斜车身,以高速漂移姿态过弯,轮胎与地面摩擦产生微量烟雾(视觉特效);车手身体极度侧倾,展现精准操控力。红色摩托车紧随其后,试图在弯道寻找超越机会;背景是弯道护栏与远处赛道设施,观众欢呼声达至高潮。镜头运动:切换为弯道外侧的追踪视角,镜头随摩托车漂移轨迹轻微倾斜,模拟弯道离心力的视觉张力。结束画面:白色摩托车成功完成弯道漂移,车身回正并加速向前,红色摩托车在弯道内稍显滞后;画面聚焦白色摩托车的尾灯与逐渐远去的背影,背景弯道渐隐,天空恢复晴朗,留下速度与竞技的余韵。
摩托车这个案例最后元素有点乱,估计和我用AI写的提示词太多了导致了,大家可以自己来玩玩,我跑一次下来大概消耗11分钟时间。局限性
这套流呢,大家能学到的有两个部分,一个是三次采样的这种方式很新颖,大家可以尝试对比出视频效果。 另外就是for循环的使用技巧,这个算是一个很基础的循环操作,可以让大家根据上一个视频的尾帧来继续生成视频。我测试下来这种衔接效果还是挺好的,没有2.1的时候色差问题。 但是目前我跑了几次发现也存在几个问题,第一个就是容易跑偏,我们自动跑的视频有时候尾帧不行,自动化的时候会把尾帧当做下一个视频的首帧去跑视频,有时候效果不是想要的。 还有就是人脸会变,如果你让人物转个身,再转回来你就会发现变了个样哈哈。 但是这个思路是没错的,可以用这种方式来实现无限视频生成(理论上) 三、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。 RH平台
推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。 https://www.runninghub.cn/?inviteCode=kol01-rh024
主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024
四、总结以上就是这次的Wan2.2图生视频无限版分享了,掌握这个for循环的使用方式,就可以做很多事情,比如for循环视频转绘,这个也是我后面要研究的方向。 技术的迭代是飞快的,要关注最新的消息才不会掉队。 关注我,每天分享最新的ComfyUI技术前沿 模型工作流获取本公众号对话框发送 250915 即可! 推荐阅读
Qwen服装lora推荐,服装提取和服装上身,一起搭配使用效果更佳周末狂喜!阿里 alibaba-pai 版 wan2.2 VACE 终于来啦~5 个手搓工作流直接玩,填补原团队更新空白!InstantX 加持 Qwen-Image-ControlNet-Inpainting 炸场,局部重绘拿捏,更加可控效果惊艳
有粉丝问我是如何学习AI的,我最主要的学习社群是在一个叫AI破局俱乐部的知识星球,目前人员5万多人,包含了最前沿的AI知识信息和相关教程,我同时也是里面的绘画方向的实战教练,每年有4-5次的为期21天的行动营(免费参与)。 下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容,信息资源(如AI带货,AI代写,AI自媒体,AI出海,AI办公、AI企培、AI编程、AI视频、AI智能体)。 对AI和破局不感兴趣的,三天体验不说话不学习的,打酱油的不要扫码添加,浪费名额会永久禁止加入!
更多AI绘画相关信息,可关注我的免费知识星球
PS:因公众号平台更改了推送规则,如果不想错过内容,记得读完点一下 “在看”,加个 “星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。 点“在看”支持我呀,谢谢啦! [ComfyUI]字节新框架USO来了!」碾压IPAdapter,风格与主体双修的终极神器 |