能塞进笔记本的AI，正在把"上云"这件事悄悄翻篇

这两年大家用 AI 都是一个路子：打开网页，输一句话，等服务器那头回你。你问的内容、上传的图、粘进去的合同，全都先坐一趟网线出门，到别人家的机房转一圈，答案再飞回来。方便是真方便，代价是你其实把东西交出去了。

现在有一拨模型在往反方向走，就是干脆住进你自己的电脑里。

最近的一个例子是谷歌放出来的 EmbeddingGemma 2。名字拗口，但干的事很朴素——它把一段文字、一张图、一段视频、一段音频、一段代码，统统翻译成一串数字。你可以把这串数字想成每样东西的"坐标"，意思越接近的东西，坐标挨得越近。你搜"怎么退订会员"，它能把你之前存过的那篇写着"取消自动续费"的说明找出来，哪怕两句话没有一个字重合。

这个模型的体量小得有点夸张。它总共七亿四千万个参数，谷歌说这是同类里最紧凑的一个，却在多模态检索的跑分上压过比自己大一倍的模型。更关键的是它不用 API 密钥，不联网也能跑；在浏览器里用 WebGPU 跑一次查询大概二十到七十毫秒，占内存大概一百九十兆。如果只处理纯文字，还有个两亿七千万参数的版本，够用。

把这件事和另一头连起来看，图景就清楚了。谷歌 DeepMind 之前发布的 Gemma 4 12B，是一台十六 G 内存的笔记本就能本地跑的多模态模型，原生吃文字、图像和音频，不用外挂单独的编码器。它能把一段五分钟的视频连画面带声音一起过一遍——官方的演示里，它啃完了一段五分钟的谷歌 I/O 主题演讲，一秒抽一帧，共 313 帧，外加音轨。这两个东西配在一起，等于说：资料存在你硬盘上，检索在你自己机器上跑，回答也是你本地的模型给出的。整个过程，数据没离开过这台电脑。

对普通人的意义不必拔高，就说实在的。第一，你的合同、病历、私人笔记，如果放进这种本地方案里，就不用再问"平台会不会拿去训练"。第二，断网也能用，飞机上、地铁里、信号差的地方照样跑。第三，长期看钱可能更省，云端按次收费，本地是一次装好，之后随便用。

但坑也得先讲清楚，不然装完会失望。

本地模型不是 ChatGPT 的平替。它在常识问答、复杂推理、写长文这些事上，和小得多的云端旗舰模型比还有距离，尤其是那种一两千亿参数以上的家伙。它擅长的是"在你的资料里找东西、做归纳、按你的材料回答"，不适合指望它替你写出一篇像样的行业分析。别看它跑分不错就以为能一步到位。

硬件也是硬门槛。十六 G 内存的机器是底线，八 G 的老笔记本会很吃力，内存不够的时候系统会疯狂读写硬盘，卡到你怀疑人生。苹果的 M 系列芯片因为显存和内存共享，跑这类小模型比同价位的 Windows 本舒服不少。如果你显卡是那种只有几 G 显存的入门卡，别抱期待。

真正上手，路子大概是这样。最省事的是装 LM Studio 或者 Ollama，两个都是图形界面或命令行一键拉模型的工具。以 Ollama 为例，装完之后在终端敲一行命令把模型拉下来，它就会开始下载权重文件，几个 G 到十几个 G 不等，取决于你选哪个版本。下载完，敲一句运行命令，模型就在本地起来了，之后你在浏览器或它自带的界面里跟它对话，全程不走外网。

新手最容易踩的三个坑：一是图新鲜挑了最大的模型，结果机器带不动，记住参数量和内存差不多要一比一，十二 B 的模型至少留十六 G 给它；二是以为装上就万事大吉，本地模型的提示词得写得更细，它不会像云端旗舰那样自动帮你补全意图；三是拿它去处理实时信息，本地模型没有联网能力，问它今天的新闻它只能瞎猜。

想认真用，有个小建议：把你要它查的资料整理成一个文件夹，让它先在你的资料里建索引，再问问题。这样它的强项——检索和归纳——才能真正发挥出来，你也不会因为它答不出世界大事而觉得白装了。

本地 AI 不会取代云端，但它把选择权交回了一点给你：什么东西可以出门，什么东西留在家里，你可以自己定了。

写于2026-10-07