|
大家好,我是嘟嘟,深耕ComfyUI赛道的程序员。 找了很久的 ComfyUI 插件 comfyui_extractstoryboards 终于挖到!自动提取视频分镜帧 + 索引,平替剪映会员,还能联动视频转绘,附工作流。 一、视频提取分镜关键帧介绍今天给大家介绍一般可以给视频提取分镜关键帧及索引的插件comfyui_extractstoryboards,这个插件我找了很久,以前见到过后来忘记叫啥找不到了哈哈,今天终于被我又挖出来了,这功能真好用。 这个插件核心功能就是可以自动分析一个视频,然后给出这个视频里面的分镜的帧索引和图片,类似下面这样。
这个非常有用,剪映会员里面其实也有分镜自动分割的功能,现在ComfyUI里面也有啦,在comfyUI里面还有一个优势,这个功能可以结合视频转绘功能一起用,效果真好。 二、相关安装插件地址:https://github.com/gitadmini/comfyui_extractstoryboards 大家用命令行来安装: git clone https://github.com/gitadmini/comfyui_extractstoryboards.git
因为这个只是对视频做简单处理,所以对显存要求不高的,大家的电脑基本都可以用到,也不涉及什么模型。 三、节点说明工作流已发Runninghub,可在线运行:
这个节点基础的工作流是这样,大家传入一个视频,就可以自动帮大家分析分镜头,自动提取出来对应的关键帧图,还是很方便的。 参数说明
- threshold:阈值 建议0.1。越小越宽松。如果视频动作幅度不大,可以提高一些阈值,0.3-0.4之间,不超过0.5为宜。
- mergeInterFrames:合并孤帧。当关键帧所在的片段总帧数小于mergeInterFrames时,向左合并,即只保留最右侧的关键帧。(对于有转场动画的视频有一定的效果)
- maxFrames:拆分长镜头。当分镜过长时,拆分成每个分镜帧数小于等于maxFrames。(对于接下来用wan2.1来处理的分镜,可以设置为81)
一般操作的时候,用默认参数,如果你对提取的分镜头不满意,就调整threshold的值 3.1 手动指定提取的分镜视频
在上面基础上,我给大家封装了一个可以指定要提取的分镜视频的工作流。
大家玩的时候,先执行最上面默认的工作流,确认每个分镜关键帧没问题了再执行这个手动的,只要重新上传下原视频,然后指定下想要第几个分镜视频,比如你想要第二个,那你就填写2。 这样工作流就可以把对应的分镜视频提取出来了。 比如下面这个是完整的带4个分镜的视频: 下面是我分别提取第2个和第4个分镜视频。 3.2 VIP付费:自动批量化提取分镜
除了手动指定分镜提取,我又进一步开发了个自动提取分镜的功能,只要上传视频,确认好分镜是自己想要的话,就可以一键指定自动提取分镜的功能,通过for循环可以把所有的分镜视频都拆分好,真好用。ComfyUI对批量化的支持还是很棒的,这个批量功能是付费的,有需要的可以找我购买,价格美丽。
拆分的分镜头视频会保存在指定的目录下,一个视频对应一个图片
再换个视频测试效果: 一个模特走秀视频,初始提取分镜图的时候是有9张。
跑完批了后看看文件夹目录下是否有9个视频
ok完美搞定,可行。 能自动提取分镜了,就可以做自动转化了,比如真人视频转绘动漫风格之类的,就可以这样循环的去完成视频转绘的工作啦,还是全自动的,这里面的具体的我回头在研究。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。
RH平台
推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。 https://www.runninghub.cn/?inviteCode=kol01-rh024
主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024
五、总结以上就是这个提取分镜插件的使用介绍了,手动指定提取分镜视频是免费分享给大家用,自动化那个是付费流,大家生产上有需要的可以联系我购买,感谢支持~ 技术的迭代是飞快的,要关注最新的消息才不会掉队。 关注我,每天分享最新的ComfyUI技术前沿 推荐阅读
Wan2.2 图生视频突破 5-8 秒限制:for 循环锁帧神操作,尾帧接首帧实现无限续播|拆解国外大佬原版工作流 + 资源速领Qwen服装lora推荐,服装提取和服装上身,一起搭配使用效果更佳周末狂喜!阿里 alibaba-pai 版 wan2.2 VACE 终于来啦~5 个手搓工作流直接玩,填补原团队更新空白!InstantX 加持 Qwen-Image-ControlNet-Inpainting 炸场,局部重绘拿捏,更加可控效果惊艳
有粉丝问我是如何学习AI的,我最主要的学习社群是在一个叫AI破局俱乐部的知识星球,目前人员5万多人,包含了最前沿的AI知识信息和相关教程,我同时也是里面的绘画方向的实战教练,每年有4-5次的为期21天的行动营(免费参与)。 下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容,信息资源(如AI带货,AI代写,AI自媒体,AI出海,AI办公、AI企培、AI编程、AI视频、AI智能体)。 对AI和破局不感兴趣的,三天体验不说话不学习的,打酱油的不要扫码添加,浪费名额会永久禁止加入!
更多AI绘画相关信息,可关注我的免费知识星球
PS:因公众号平台更改了推送规则,如果不想错过内容,记得读完点一下 “在看”,加个 “星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。 点“在看”支持我呀,谢谢啦! |