这篇论文解答了一个大模型领域的终极核心问题：大模型里那千亿、万亿个参数，到底有多少是在真学“规律”（泛化），有多少只是死记硬背的“小抄”（记忆）？如果死记硬背，它的极限容量又是多少？
研究人员想了个绝招，用毫无规律的“纯随机乱码”去喂大模型。
因为乱码没有逻辑可循，模型想降低损失只能靠硬背，实验由此测出了大模型的硬物理容量：平均每 1 个参数能死记硬背约 3.6 比特的数据。
当训练数据很少时，大模型会任性地把所有东西一字不差地背下来；只有当数据量庞大到把参数空间彻底塞满、再也装不下“小抄”时，模型才被迫破罐子破摔，开始寻找数据背后的通用规律。
即便在海量文本中，模型也会偷偷留下小部分空间去死记硬背。
那些被它牢牢死记硬背下来的句子，往往是在主要语料中极度罕见的敏感词汇、代码片段或者突兀的跨语种外语。
基于这个规律，研究人员推导出了一个关于隐私泄露的规模法则（Scaling Law）。
现代大模型喂了十几万亿的 Token，其数据量远超硬背容量，外人想通过探测去窃取某段特定隐私的概率，已经无限趋近于纯瞎猜。
这项工作为 scaling law、隐私保护、版权争议和未来模型设计提供了更 sharp 的框架。
AI 研究者、隐私与安全专家、模型训练工程师、政策制定者，值得关注一下~
文件已准备好👇🏻，可以直接download哦~
