最近看到一个挺有意思的本地知识库方案:SAG2。
它没有沿用常见的向量检索路线,而是把建库和语义理解分开处理。
建库阶段不调用大模型,不生成 Embedding,也不需要向量数据库或 GPU,只用 BM25 给原文建立关键词索引。
按照项目公布的测试:
同样处理 11,656 段文本,上一代需要4.57小时,SAG2只用了2.36秒,速度提升约7000倍。
那它怎么理解语义?
先用 BM25 找候选内容,再通过 JEV 判断哪些是真正有用的证据,并从中提取新关键词继续检索。
相当于先找到线索,再沿着线索逐步查找。
在 MuSiQue 多跳检索测试中,Recall@5 达到80.68%。
项目还推出了 SAG Wiki 桌面工具,添加本地文件夹就能建立知识库。
这套方案值得关注的地方,不是完全抛弃语义理解,而是把语义判断放到了检索阶段。
对于不想维护向量数据库的用户,是一个值得研究的新思路。
#RAG #AI工具 #开源项目 GitHub #ai #大模型 #howto用好AI #本地知识库
