本帖最后由 疯狼GC 于 2026-10-6 06:17 编辑
Meta 开源 SAM3,支持文本 / 示例图“概念分割”,用于图像和视频中的物体检测、分割与跟踪。官方报告在 H200 GPU 上处理含百余个检测物体的单张图像约需 30 毫秒。同期另行推出的 SAM 3D 是用于单图 3D 重建的独立模型系列。 一、SAM3介绍今天来介绍下Meta新开源的SAM3,更强的分割效果。 SAM3是 Meta 推出的图像 / 视频分割模型,支持文本短语、示例图和点、框等视觉提示,可检测、分割与跟踪目标物体;3D 重建由另行发布的 SAM 3D 模型提供。
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
核心特点
- 支持开放词汇分割,可用文本短语或示例图指定概念,不局限于固定类别;领域外的细粒度概念仍可能识别不准。
- 官方基准表现与速度:Meta 报告在 SA-Co Gold 图像子集和 SA-Co Video 概念分割评测中,cgF1 指标约为所比较基线的两倍;在 H200 GPU 上,单张含百余个检测物体的图像约需 30 毫秒。论文另报告视频推理耗时随物体数量增加,约同时跟踪 5 个物体时接近实时。
- 另行推出 SAM 3D:SAM 3D Objects 用于物体 / 场景重建,SAM 3D Body 用于人体姿态和形状估计;二者与 SAM3 图像 / 视频分割模型不同。
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
二、相关安装模型我发到网盘了,下载sam3,放到models目录下就行。
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
本地就像我这样就行
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
三、测评体验工作流已发Runninghub,前往体验or下载:
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
工作流不复杂,这里提供两种获取遮罩的方式 第一种就是纯粹的语义风格,通过输入英文提示词就行,
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
然后在SAM3 Segmentation节点里面,调整max_detections的值来限制识别的人数,默认是-1,识别所有,我这是设置1,就只识别1个。 第二种方案是通过点标记,这个也算是一个新节点。
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
鼠标左键绿点表示选中,右键红点表示不要,和以前那个点识别差不多。 这样就可以提取出来,遮罩了,效果还是挺好用。 注意事项
我测试下来,发现虽然提示词语义是加强了,就是稍微复杂一些的提示词也可以用比如 "shoe" 、 "cat" 、 "person" ——单个对象
"person in red" 、 "black car" ——带有属性
"person on the left" , "car in background" ——空间关系
但是也就局限这样,再复杂点的就不行了。 不过识别的速度非常快,特别是第一次加载后,后面识别超快,这点还是点赞的。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
|