|
大家好，我是嘟嘟，深耕ComfyUI赛道的程序员。
上海交大等团队研发的 SeC 视频分割技术来了！靠 LVLM 实现概念级理解，遮挡 / 场景切换稳如老狗，比 SAM 2.1 准 11.8 个点，好用强推。 一、SeC视频遮罩分割介绍今天必须给大家案例一个遮罩的新技术方案，非常好用，就是最新的视频分割Sec。 SeC（概念分割，Segment Concept）是视频目标分割领域的一项突破性技术，它从简单的特征匹配转向了高层次的概念理解。与主要依赖视觉相似性的 SAM 2.1 不同，SeC 借助大型视觉语言模型（LVLM）从概念层面理解 “某个物体是什么”，从而实现更稳定的追踪，具体优势包括： - 语义理解：通过概念识别物体，而非仅依赖外观
- 场景复杂度自适应：自动平衡语义推理与特征匹配的权重
- 更强的鲁棒性：相比 SAM 2.1，能更好地应对遮挡、外观变化及复杂场景
- 顶尖性能：在 SeCVOS 基准测试中，比 SAM 2.1 高出 11.8 个百分点
实际测试下来，跨镜头稳定跟踪更稳定，确实比sam2好用，下面是官方案例： 二、相关安装插件地址：https://github.com/9nate-drake/Comfyui-SecNodes 大家用命令行安装： git clone https://github.com/9nate-drake/Comfyui-SecNodes
模型是放在ComfyUI/models/sams/SeC-4B/ 一共14G左右，我网盘会提供对应模型地址
三、测评体验工作流已发Runninghub，前往体验or下载： 这个模型大小14G，真的大，所以你至少要有16G显存才用得上。 我给大家搭建了一个对比工作流，以及不同的使用方案，非常好。
工作流其实很简单，Sec视频遮罩使用核心节点就2个
左边这个接在模型，右边是传入图像以及几种遮罩方式，如下图所示
提供至少一个视觉提示（点、bbox 或mask） 官方有给出几种搭配建议： - Points only：标准基于点的分割
- Bbox only：边界框内的线段对象
- Mask only：跟踪蒙版区域
- Mask + Positive points：仅使用掩码内的正点来细化要分割的遮罩区域的哪一部分
- Mask + Negative points：所有负点都用于从蒙版中排除区域
- Mask + Positive + Negative：蒙版内的正点细化区域，负点排除区域
工作流中，我给出了两种方式获取遮罩或者点数据，一个是手动，用的是点编辑器，如下图所示，这个之前一直在用。
开始运行之前，先右键执行该组的2个节点，这样就会加载视频的首帧进来，然后点击点编辑器底部的New canvas 然后开始正式操作： - 1：shift+鼠标左键，绿色表示选中的遮罩
- 2：shift+鼠标右键，红色表示不选中的遮罩
另外一种是使用Florence2 + SeC方案
根据提示词提取出来想要的物体，这里可以根据索引提取多个物体里面的一个遮罩，然后把这个遮罩传入到SeC Video Segmentation的遮罩入参中即可。 具体的操作方案可以看我后面B站视频，视频端会介绍另外一个bbox的使用教程，通过框选举行遮罩来实现物体选择。 案例展示
我跑了2个案例，Sec的效果确实好了很多，真爽。 注意事项
- VRAM 不足？启用 offload_video_to_cpu（节省 2-3GB，仅慢 ~3%）
- 使用 torch_dtype：bfloat16 以实现速度和质量的最佳平衡
- 如果您需要挤入有限的 VRAM，则降低 mllm_memory_size （5-10）
四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境，或者本地显卡配置低于 16G 的，可以使用嘟嘟部署的仙宫云镜像，可直接加载使用。后续分享的工作流都会更像到镜像中，一周更新一次，方便大学学习。 目前整合了2个镜像，一个是Flux绘图用的，另外一个是针对视频模型的，之所以分开是一些模型兼容问题，分开比较好处理。 镜像名称：嘟嘟AI绘画趣味学
云平台镜像地址： https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册，总共可获得 8 元奖励，体验 4 个小时的 4090 作图时长。 RH平台
推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流（注册即送1000积分可用）。 https://www.runninghub.cn/?inviteCode=kol01-rh024
主页更多精彩工作流可在线体验： https://www.runninghub.cn/user-c ... iteCode=kol01-rh024
五、总结以上就是最新的视频遮罩Sec的使用了，遮罩是我们日常使用中非常频繁的节点，也非常的重要，有了Sec，受益的地方非常多，大家抓紧下载体验吧。 技术的迭代是飞快的，要关注最新的消息才不会掉队。 关注我，每天分享最新的ComfyUI技术前沿 模型工作流获取本公众号对话框发送 251012 即可！ 推荐阅读
Lynx 玩出花！3 个进阶场景：换脸不崩脸、数字人说话、姿势精准控，免费工作流我搭好了字节 Lynx 炸场！人物一致性新标杆：单张图生成个性化视频，双适配器锁死身份保真｜对标 stanId新突破！Qwen-Image-Edit-2509 修手新方案：基于编辑模型的技术路径，关节 / 手指细节精准修复｜附操作指南谁懂啊！Qwen-Image-Edit-Rapid-AIO V3：合并 4 大技术，SFW/NSFW 编辑一步到位
有粉丝问我是如何学习AI的，我最主要的学习社群是在一个叫AI破局俱乐部的知识星球，目前人员5万多人，包含了最前沿的AI知识信息和相关教程，我同时也是里面的绘画方向的实战教练，每年有4-5次的为期21天的行动营（免费参与）。 下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容，信息资源（如AI带货，AI代写，AI自媒体，AI出海，AI办公、AI企培、AI编程、AI视频、AI智能体）。 对AI和破局不感兴趣的，三天体验不说话不学习的，打酱油的不要扫码添加，浪费名额会永久禁止加入！
更多AI绘画相关信息，可关注我的免费知识星球
| 
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
