AI 网关一旦成了公司里的必经之路,就有个尴尬:你想加的功能永远比它自带的多,最后加出来的东西比原项目还大。
Respan 团队在 HN 的 Launch 帖里把这笔账摊开了:他们从 2024 年起在 LiteLLM 上包了两年,服务过数千家组织(发布方口径),包装代码一度超过 10 万行。今年 1 月,一次常规的 LiteLLM 升级导致间歇性连接错误,只能回滚,原因到现在没查出来;从那以后他们不再直接升级,改成手工把上游修复 backport 回来。
一个仿 Nginx 的极小核心,只负责分发事件;provider、协议(chat、realtime voice、MCP)、模态(图像、视频)、网关功能(智能路由、故障回退、PII 脱敏)全部做成插件。Mistral 的 provider 适配只有 22 行,每个 quirk(比如 Groq 把 token 用量放在自己的字段里)单独配一条测试。仓库 respan-gateway 用 Rust 写,Apache-2.0,核验时 91 星、10 个 fork、19 个未关闭 issue,作者自己标的是 pre-alpha。HN 帖 49 分、8 条一级评论。
限制:以上全是发布方自述,没有第三方压测,也没有迁移前后的错误率对比;91 星的生态谈不上插件市场,「数千家组织」是他们旧平台的口径、没给客户名单;pre-alpha 意味着接口还会变,托管版是收费的。
我的判断:这条最值得看的不是 Rust,是「别把自己焊在别人的内核边上」——10 万行补丁不是技术债,是给依赖升级交的保险费,而今年 1 月这张保单已经理赔失败过一次。真要动手,先用它跑一遍自己最复杂的路由和脱敏规则,看插件接口够不够用,再谈迁移。
你更愿意把网关当成一个可替换的组件,还是一层需要长期自己维护的产品?