通用大模型应用于语义分割！
SAM3 是目前用得最多的可提示分割模型。
但在实际场景中，模型往往需要分割头微调、任务特定的训练。
想让大模型输出像素级掩码，就得接一个分割解码器，LISA、X-SAM 都是这个思路。
但这条路有个前提：你得训练。
那有没有可能，让一个通用大模型自己就把分割做完？不需要额外的训练？
毕竟目前像 GPT6、Gemma4 等最先进的 VLM ，已有惊人的通用视觉能力。

最近一个新工作 LLMSeg，就在通用多模态大模型基础上，构建了一个完全无需训练的文本提示分割流水线。
没有分割头，没有掩码解码器，没有额外的训练。
# Paper
Training-Free Text-Prompted Image Segmentation
# Arxiv
https://arxiv.org/pdf/2610.29409
# Code
https://github.com/ajhamdi/llmseg-code一、这个通用分割能干啥？既然上面提到了在通用多模态大模型基础上，论文里就以 Gemini-3.7-Flash 为后端，LLMSeg 在相同项目上与专业 SAM3 模型对标。
首先是推理分割，驾驶员可以观察车速的地方，需要维修的汽车。这类问题是 SAM3 最棘手的，之前就说过 SAM3 缺乏长句的理解。

然后就是通用分割中最常见的任务指代表达，最左侧是GT，第二列是SAM3 的结果，最右侧是 LLMSeg 的结果。带触摸板的灰色键盘，右边的碗，都能准备分割！

最后就是零样本的语义分割任务，这个是 SAM3 最擅长的领域，LLMSeg 一次查询就列出了所有 19 个类别名称，模型一次遍历即可标记每个区域。

我们再来看下指标对比情况，SAM3-Agent 是由 LLM 代理交互式驱动的 SAM3。LLMSeg 后端模型更新可以在不重新训练流水线的情况下提高准确率。

二、工作原理是什么？LLMSeg 可以将具备视觉能力的 LLM 转换为文本提示的图像分割器。
模型仅需以 JSON 格式接收坐标，解析、框解码、光栅化和停止等操作均由确定性代码完成。

总的分割过程分解为三个由 LLM 驱动的阶段。
首先进行检测！一次调用，把图像和自由形式文本查询一起给模型。
模型返回每个匹配实例的边界框、置信度，以及一段简短的形态描述。如果启用拓扑，还会给出组件数和孔洞数。
然后进行分割！模型不输出掩码，而是输出闭合周期B样条的环，每个实例一个外环，如果有孔洞，每个孔洞一个减环。
模型输出的是控制点，确定性代码把这些控制点栅格化成掩码。

最后是精修，模型看自己刚才渲染出来的叠加图，找出残余误差，然后在带符号的聚焦框里重新描绘。
带符号是什么意思？+ 表示这个框里要加像素，− 表示要减像素。模型通过这种方式，在局部修正自己的边界。
当掩码稳定，或者迭代预算用完，流程结束。再来看下和 SAM3 的对比效果。

三、SAM的变体有哪些？大语言模型在广泛知识表示上表现出色，却天生缺乏像素级视觉理解能力，尤其是面对小目标的视觉任务。
将 SAM 与其结合是否能实现在一个统一架构内整合所有分割任务？包括：通用分割，指代分割，开放词汇分割，视觉定位分割。
X-SAM 是一个全新的多模态大模型框架，首次将图像分割从分割万物推向任意分割！

从 SAM3 开源后，可提示分割的进展已将视觉感知从物体级定位转向了概念级理解。
在SAM3的设定中概念往往被等同于物体类别，对应的提示词非常直接，如车、人、杯子，不附加任何属性或关系约束。
ConceptSeg-R1 是一个将广义概念分割重新定义的统一框架。让模型能够理解概念的定义规则，并将这种理解转化为可执行的像素级分割结果。

还有其他的很多 SAM 变体，本文不再赘述，可以自己去历史文章中查阅。