家里那台吃灰的游戏本，显卡只有 8GB 显存，能跑得动 350 亿参数的大模型吗？答案可能让你意外——最近这个叫 PolyStrata 的开源项目，让一张笔记本显卡配合 CPU 和内存，把 Qwen3.6-35B-A3B 跑出了每秒 94–100 个 token 的写入速度，读提示词更是冲到 1300+ token/s，比云端同款还快好几倍。
PolyStrata 是 Strata 引擎的一个 fork，作者把它扩展到支持更多混合专家（MoE）模型：Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V。它的核心思路很巧：MoE 模型每生成一个 token 只激活少数几个专家，所以没必要把整个模型塞进显存。PolyStrata 把最常用的专家放在显卡上，其余专家由 CPU 从 GGUF 映射文件里算，必要时连固态硬盘都分担一层，再用缓存和“先猜 token”来加速——整台电脑的显卡、CPU、内存、SSD 一起给推理打工。
PolyStrata 在笔记本 RTX 4070(8GB) 与工作站 RTX 5090(32GB) 上的 tokens/s 速度对比图
实测数据相当亮眼。在笔记本 RTX 4070（8GB）+ 32GB 内存上，Qwen3.6-35B-A3B 的 UD-Q3_K_M 量化能写 73–75 token/s、读 1390 token/s，UD-Q2_K_XL 更是写到 91 token/s；Gemma 4 26B-A4B 也稳定在 67–87 token/s 区间。换算一下，一个 token 大约四分之三个词，60 token/s 已经比人阅读还快。工作站上的 GLM 5.3 Flash（32GB 卡 + 120GB 内存）则把大部分模型文件留在系统内存里跑。
PolyStrata 的网页 Monitor 界面，实时显示模型与 GPU/CPU/RAM 占用
对 coding agent 尤其友好：它提供一个本地 localhost 服务，同时兼容 OpenAI（`http://127.0.0.1:8080/v1`）和 Anthropic（`/v1/messages`，Claude Code 通过 `ANTHROPIC_BASE_URL` 接上）以及 Codex 的 `/v1/responses`，你现有的 agent 不用改代码就能直接调。安装也是一键：Windows 双击 START-HERE.bat，Linux/Mac 跑 `./setup.sh`，脚本会识别你的显卡、问你选哪个模型和量化档、要多少上下文、是否读图，一路回车用推荐值即可。
Claude Code 实测——PolyStrata 给小程序加 --token 按钮并写测试跑通
当然边界要说清：目前只支持 NVIDIA 卡，四个新增模型仍属实验性质，Windows 下需要 Visual Studio build tools 和 CUDA 工具包；模型下载动辄 70–114GB，硬件门槛是实的。但如果你手里正好有张游戏显卡，又想让 coding agent 在本地免费、无限速地跑起 350 亿参数模型，PolyStrata 值得一试。你愿意为了“数据不出本机 + 零云端账单”折腾一下本地部署吗？还是宁可多花点钱换省心？
改一行配置、跑一次测试，命令敲下去先等两百多毫秒，一天几十次下来，光是发呆就攒出不少时间。更占地方的是常驻的那套桌面环境：内存悄悄吃掉几个 G，风扇转起来，明明只想跑一个几 MB 的小镜像。
Kiri 官网首页，主打容器先于眨眼启动
Kiri 是 11 月 2 日新建的开源仓库，Rust 编写，Apache-2.0 许可，当前版本 v0.1.17，到 11 月 7 日有 483 颗星。它在一台很小的 Linux 虚拟机里跑容器，在 Linux 上直接用内核，对外提供熟悉的容器接口，所以现成的命令行、编排文件、构建工具、镜像都能接着用。macOS 14 以上、Windows 10 与 11、常见 Linux 发行版都有安装包，还带一个按项目分组显示容器、端口与体积的原生窗口。
容器管理窗口，按编排项目分组列出状态、端口与体积
仓库给的基准是运行 alpine 执行 true 再删除，30 次取中位数：走容器接口时 Kiri 2.55 毫秒、Docker Desktop 213 毫秒、OrbStack 380 毫秒；走命令行分别是 14.2、243、442 毫秒。基准脚本和原始数据都在仓库里，可以自己复现一遍。
三款工具在接口调用与命令行下的启动耗时对比
第一，快来自把中间层拆掉。它没有走常见的那套运行时与守护进程组合，虚拟机里的 Rust 代理约 900 KB，用一次系统调用直接把容器放进命名空间，守护进程常驻约 15 MB，内核 10 MB；闲置 60 秒后虚拟机休眠，唤醒约 0.15 秒。数字不是凭感觉写的，但也别直接套到自己的业务镜像上——测的是空跑一次就退出的极小容器。
第二，兼容比跑分更决定能不能换。它接的是同一套容器接口，编排文件、构建命令、已有镜像不用重写；还提供了本地域名、单节点集群，以及从另外两款桌面工具导入镜像与卷的命令。对已经攒了一堆脚本的团队，这一步比省下的两百毫秒关键得多。
约 15 MB 守护进程、10 MB 内核、900 KB 代理、0.15 秒唤醒
第三，项目还很年轻，别拿它替掉生产环境。版本号还在 0.1.x，macOS 与 Windows 的包刚放出，不同显卡与多屏组合的反馈有限；名称与图标不在开源许可内，改名才能做分支。作者也把下一个要补的能力写在说明里，等于明说当前还不完整。
有个取舍值得留意：为了把常驻降到十几 MB，它没去做完整的图形化构建面板，习惯点按钮的人起初会不太适应。
你本地跑容器时更受不了哪一样：启动慢、常驻占内存，还是安装包太重？