【预印本】UW 和 Ai2 的研究者提出 COUNT：先从预训练语料中统计 n-gram 计数，存成最大 797GB 的表，放在主机内存里，不占 GPU 显存；再用模型自己的输出词向量把它加权合成一路额外的输入嵌入，不增加任何可学习参数。论文自报结果：在 60M 到 1B 参数的模型上，语言建模损失的改进相当于多用 46–89% 算力，1B 模型约为 57%；下游任务损失相当于多用 6–56%。推理时把计数表换成数学、法律或生物医学语料的统计，不用训练就能做领域适配，其中生物医学的结果有好有坏。训练吞吐保留约 93–98%。注意：目前只验证到 1B 规模，更大模型上能不能保持这个比例还不知道；没有独立复现。作者已开源代码、计数表和 checkpoint。原文：网页链接