技术博文Prompt Caching In Agents网页链接Pi 的开发者写了这篇文章。它指出 code agent 的一个重要特点是：会话上下文会变得很长，而且多轮请求之间，大部分输入内容都是重复的，通常只是继续在末尾追加新内容。大模型推理系统如果发现下一次请求和上一次请求有完全相同的 token 前缀，就可以复用这部分前缀的 KV cache，从而降低延迟和成本。

文章也解释了 Pi 为什么会围绕这个特点做设计：它尽量保持输入稳定，采用偏追加式的会话记录，避免频繁重写、裁剪或改动旧上下文，因为这些操作一旦发生在提示词中间，就可能破坏后续内容的缓存复用。How I AI