62

主题

2

回帖

164

修为

绘灵

积分
350
嘟先生 2025-11-24 01:16:37 | 显示全部楼层 | 阅读模式

Meta 开源新一代全能视觉模型 SAM3,支持文本 / 示例图 “概念分割”,30 毫秒处理百物体,性能翻倍,中文指令适配,同步推出 SAM3D 单图 3D 重建,覆盖图像 / 视频 / 3D 全场景。

一、SAM3介绍

今天来介绍下Meta新开源的SAM3,更强的分割效果。

SAM3是 Meta 推出的新一代全能视觉模型,核心是根据文本、图片等 “概念指令”,精准分割图像 / 视频中的目标物体,还能延伸至 3D 重建,从 “指哪分哪” 升级为 “说哪分哪”。

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
核心特点
  • 支持开放词汇分割,能听懂文本、匹配示例图,无需预训练标签,应对无限新概念。
  • 性能翻倍且速度快,30 毫秒处理百物体图像,近实时跟踪视频目标,准确率远超同类模型。
  • 突破 2D 局限,同步推出 SAM3D,可从单张照片重建物体 3D 模型、还原人体 3D 姿势。

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类
二、相关安装

模型我发到网盘了,下载sam3,放到models目录下就行。

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

本地就像我这样就行

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

三、测评体验

工作流已发Runninghub,前往体验or下载:

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

工作流不复杂,这里提供两种获取遮罩的方式

第一种就是纯粹的语义风格,通过输入英文提示词就行,

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

然后在SAM3 Segmentation节点里面,调整max_detections的值来限制识别的人数,默认是-1,识别所有,我这是设置1,就只识别1个。

第二种方案是通过点标记,这个也算是一个新节点。

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

鼠标左键绿点表示选中,右键红点表示不要,和以前那个点识别差不多。

这样就可以提取出来,遮罩了,效果还是挺好用。

注意事项

我测试下来,发现虽然提示词语义是加强了,就是稍微复杂一些的提示词也可以用比如

"shoe""cat""person" ——单个对象
"person in red""black car" ——带有属性
"person on the left""car in background" ——空间关系

但是也就局限这样,再复杂点的就不行了。

不过识别的速度非常快,特别是第一次加载后,后面识别超快,这点还是点赞的。

四、在线使用
云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

镜像名称:嘟嘟AI绘画趣味学

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

Meta SAM3 开源:30 毫秒分割百物体,性能翻倍碾压同类

云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

© 2001-2025 BBS.Monster