003242pfww0089kwodu8kd.webp

今天必须给大家案例一个遮罩的新技术方案，非常好用，就是最新的视频分割Sec。

SeC（概念分割，Segment Concept）是视频目标分割领域的一项突破性技术，它从简单的特征匹配转向了高层次的概念理解。与主要依赖视觉相似性的 SAM 2.1 不同，SeC 借助大型视觉语言模型（LVLM）从概念层面理解 “某个物体是什么”，从而实现更稳定的追踪，具体优势包括：

• 语义理解：通过概念识别物体，而非仅依赖外观
• 场景复杂度自适应：自动平衡语义推理与特征匹配的权重
• 更强的鲁棒性：相比 SAM 2.1，能更好地应对遮挡、外观变化及复杂场景
• 顶尖性能：在 SeCVOS 基准测试中，比 SAM 2.1 高出 11.8 个百分点
  

实际测试下来，跨镜头稳定跟踪更稳定，确实比sam2好用，下面是官方案例：

插件地址：https://github.com/9nate-drake/Comfyui-SecNodes

大家用命令行安装：

模型是放在ComfyUI/models/sams/SeC-4B/

一共14G左右，我网盘会提供对应模型地址

• 最新Sec2视频遮罩技术，强于sam2：https://www.runninghub.cn/post/1 ... iteCode=kol01-rh024
  

这个模型大小14G，真的大，所以你至少要有16G显存才用得上。

我给大家搭建了一个对比工作流，以及不同的使用方案，非常好。

工作流其实很简单，Sec视频遮罩使用核心节点就2个

左边这个接在模型，右边是传入图像以及几种遮罩方式，如下图所示

提供至少一个视觉提示（点、bbox 或mask）

官方有给出几种搭配建议：

• Points only：标准基于点的分割
• Bbox only：边界框内的线段对象
• Mask only：跟踪蒙版区域
• Mask + Positive points：仅使用掩码内的正点来细化要分割的遮罩区域的哪一部分
• Mask + Negative points：所有负点都用于从蒙版中排除区域
• Mask + Positive + Negative：蒙版内的正点细化区域，负点排除区域
  

工作流中，我给出了两种方式获取遮罩或者点数据，一个是手动，用的是点编辑器，如下图所示，这个之前一直在用。

开始运行之前，先右键执行该组的2个节点，这样就会加载视频的首帧进来，然后点击点编辑器底部的New canvas

然后开始正式操作：

• 1：shift+鼠标左键，绿色表示选中的遮罩
• 2：shift+鼠标右键，红色表示不选中的遮罩
  

另外一种是使用Florence2 + SeC方案

根据提示词提取出来想要的物体，这里可以根据索引提取多个物体里面的一个遮罩，然后把这个遮罩传入到SeC Video Segmentation的遮罩入参中即可。

具体的操作方案可以看我后面B站视频，视频端会介绍另外一个bbox的使用教程，通过框选举行遮罩来实现物体选择。

我跑了2个案例，Sec的效果确实好了很多，真爽。

• VRAM 不足？启用 offload_video_to_cpu（节省 2-3GB，仅慢 ~3%）
• 使用 torch_dtype：bfloat16 以实现速度和质量的最佳平衡
• 如果您需要挤入有限的 VRAM，则降低 mllm_memory_size （5-10）
  

大家如果没有本地 ComfyUI 环境，或者本地显卡配置低于 16G 的，可以使用嘟嘟部署的仙宫云镜像，可直接加载使用。后续分享的工作流都会更像到镜像中，一周更新一次，方便大学学习。

目前整合了2个镜像，一个是Flux绘图用的，另外一个是针对视频模型的，之所以分开是一些模型兼容问题，分开比较好处理。

镜像名称：嘟嘟AI绘画趣味学

云平台镜像地址：

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册，总共可获得 8 元奖励，体验 4 个小时的 4090 作图时长。

推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流（注册即送1000积分可用）。

https://www.runninghub.cn/?inviteCode=kol01-rh024

主页更多精彩工作流可在线体验： https://www.runninghub.cn/user-c ... iteCode=kol01-rh024

以上就是最新的视频遮罩Sec的使用了，遮罩是我们日常使用中非常频繁的节点，也非常的重要，有了Sec，受益的地方非常多，大家抓紧下载体验吧。

技术的迭代是飞快的，要关注最新的消息才不会掉队。