这项由中国科学技术大学与北京MetaStone Technology联合开展的研究，以预印本形式发布于2026年7月30日，论文编号为arXiv:2607.27816v1，有兴趣深入了解的读者可以通过该编号查询完整论文。
你有没有和某个AI角色聊过天，感觉它非常懂你，让你欲罢不能？或者相反，感觉它的回答永远差那么一口气，说不出哪里不对劲？这种"懂不懂你"的感觉，长久以来一直是AI角色扮演领域最难量化的东西。这项研究，正是为了解决这个难题而生的。
研究团队发现，现有的评测方式存在一个根本性的缺陷，就像让厨师在别人已经炒了一半的锅里继续翻炒，最后评的其实不是这位厨师的手艺，而是前一位厨师打下的底子好不好。于是他们设计了一套全新的评测框架，取名PALATE（Person-Aligned LLM-Simulated-User Assessment with Tailored Evaluation，即基于个人化大语言模型用户模拟的定制评测体系）。这套框架的核心思路是：让AI角色从头开始和一个"真实模拟用户"聊天，而不是继续别人写好的剧本，并且用这个用户自己的偏好标准来判断聊得好不好。
---
一、评测AI角色扮演，为什么那么难？
要理解这项研究解决了什么问题，先要明白原来的评测方式是怎么运作的。
现有的主流评测方式可以打个比方：有一道已经写好前半段的故事，让不同的AI续写后半段，然后请裁判给续写部分打分。这个方式看起来公平——每个AI拿到的前半段都一样，大家起跑线相同。然而问题恰恰出在"前半段"上。
研究团队做了一个受控实验：他们找来5段真实的人机对话，每段超过20轮，然后人为地把AI角色说的那一半重写成两个版本：一个是"高质量版"，语言细腻自然、紧贴剧情、个性鲜明；另一个是"降级版"，保留所有情节事实，但语言变得平淡重复、缺乏细节。接着，让4个候选AI在不同深度的节点上续写这两个版本，再用同一套标准打分。
结果非常说明问题。相比原始版本，读了高质量前半段之后，AI的续写平均分会高出约0.21分（满分5分）；而读了降级版前半段，AI的续写平均分会低约0.13分。换句话说，同一个AI，仅仅因为前半段质量不同，分数差距可以超过0.3分。更有趣的是，Claude Sonnet 4.6在高质量前半段下的得分超过了Gemini 2.5 Pro，但在降级版前半段下的得分反而不如Gemini 2.5 Pro——两个AI的"名次"因为前半段的好坏而发生了颠倒。
研究团队还进一步分析了这种偏差的来源。他们把续写的内容固定不变，只是把给裁判看的"前半段"换掉（一次展示高质量版，一次展示降级版），结果发现：裁判自己看到的前半段质量也会影响打分，但影响方向和大小都不同于"前半段实际影响了AI续写质量"这条路径。本质上，更大的分数差异来自于前半段真实地改变了AI的输出内容，而不只是裁判被"视觉效果"带偏了。
由此可以得出一个核心结论：现有的"续写式"评测，测量的其实不是AI的角色扮演能力本身，而是"在特定前半段条件下的角色扮演能力"。这两者是有本质区别的。就像你无法通过观察一个厨师在别人炒了一半的菜里加最后几下调料，来判断他的厨艺高低。
---
二、每个用户都是不同的"食客"
第二个问题同样根本：谁来评判"好不好吃"？
角色扮演的核心价值在于用户体验，而人与人之间的偏好差异极大。一个喜欢慢热剧情、逐渐建立情感联结的用户，会觉得缓慢推进的对话充满魅力；而一个喜欢高张力、快节奏冲突的用户，则会觉得同样的对话拖沓无聊。如果用一把统一的尺子衡量所有人的体验，就好像用同一套评分标准去评价川菜和粤菜的厨师——你的标准本身就已经偏向了某一类口味。
现有的评测框架大多采用通用评分维度，比如"角色一致性"、"情节连贯性"等，这些维度对所有用户一视同仁。研究团队指出，这种做法忽视了用户个体差异，无法真实反映具体某个用户的满意度。
PALATE的解决思路是：不仅要让AI从头开始聊，还要用这个用户自己的偏好标准来打分。这两个问题——"谁来聊"和"怎么评"——被设计成一个统一的体系，共同指向同一个人的真实体验。
---
三、PALATE怎么运作：给每位"食客"配一个专属裁判
整个PALATE框架分为四个步骤，像是一套精心设计的厨艺大赛规程。
第一步是训练"用户模拟器"。研究团队建立了一个标注平台，招募了5位志愿者，让他们自由选择角色，与一个AI进行真实的多轮对话，同时对每一轮AI的回复打满意度分数（1到5分）。每位用户大约进行了1000轮对话。这些数据被用来训练专属于每个人的"用户模拟器"——一个能够模仿这个人说话风格、互动习惯、甚至退出对话时机的AI模型。
训练方式是在一个名为Qwen3.5-35B-A3B Instruct的基础模型上，为每位用户单独微调一套轻量级适配器（即LoRA，可以理解为给同一台钢琴换上不同触键风格的调整装置），而不是从头训练一个全新模型。每个用户的模拟器只会"记住"这个人的聊天方式，不会被植入任何手写的用户描述或人口学标签——它的所有个性都来自真实对话数据本身。
为了验证这些模拟器是否真的像真人，研究团队设计了一个"图灵测试"式的检验：把真实用户写的下一句话和模拟器生成的下一句话并排放在一起，让裁判来猜哪个是真人写的。结果表明，纯粹提示通用大模型来"扮演用户"时，裁判几乎每次都能一眼看出哪个是AI生成的（愚弄率接近0）；而用了个人化LoRA微调之后，裁判猜对率接近50%——也就是说，模拟器生成的内容和真人写的内容已经难以区分。另一项"身份一致性"测试也显示，个人化微调后的模拟器得分从约56分（通用大模型）提升到了约78分（满分100）。
第二步是"自由多轮角色扮演"。研究团队事先冻结了10张角色卡（包括8张原创角色和2张知名IP角色，如芙宁娜和蝙蝠侠），这些角色卡在任何候选AI被测试之前就已经确定，不会因为测试结果而更改。每个用户模拟器与每个候选AI在每张角色卡上自由对话，每个组合独立进行两轮，共产生5×10×16×2=1600条对话轨迹。对话从角色卡规定的开场白开始，没有任何外部脚本控制剧情走向——完全由用户模拟器和候选AI共同"即兴创作"，直到模拟器输出退出信号或达到预设的深度上限为止。
第三步是自动构建"个人化评分标准"。针对每位用户，系统会从他们的训练对话中抽取50个样本（按满意度分层抽取，确保高低分样本都有），连同完整的评分分布，喂给一个元提示词（meta-prompt），让它归纳出这个用户的个性化体验评估标准。这套标准会自动识别出这个用户最在意的4个"体验驱动因素"，比如U1用户最在意"具体情节推进"和"角色主动性"，而U4用户最在意"动作/事实掌控感"和"隐含的潜台词"。
这套评分标准还会专门分析用户"下一句话"的语义——当用户满意时，他们倾向于继续顺着剧情深入；当不满意时，他们倾向于纠正、重定向或冷却。这些语言信号都被提炼成规则，成为评分的依据之一。标准一旦构建完成就被冻结，不会在正式评测时再看原始数据。
第四步是"三轨道打分"。每条对话轨迹会同时接受三种维度的评分：个人化体验分（用每个用户专属的标准打分）、通用单轮质量分（用12个共享维度评估每一轮AI的回复质量）、以及整体会话分（用11个共享维度评估整条对话的长程表现）。最终汇总成三个指标：U-Score（个人化体验得分，对5位用户等权平均）、G-Score（通用质量得分，对单轮和会话质量等权平均）以及Overall（三轨道等权汇总，仅作参考用）。
---
四、个人化评分标准，真的比通用标准更准吗？
在正式大评测之前，研究团队专门验证了个人化评分标准的有效性。
验证方式是这样的：在每位用户的"测试集"对话中，对同一个用户在同一场会话里的不同轮次进行配对——如果A轮的人类满意度评分高于B轮，那么好的评分标准应该也能正确判断A轮比B轮好。这种"同会话内配对比较"的方式排除了不同角色、不同对话阶段带来的基准差异，让比较更加公平。
结果显示，个人化评分标准（配合用户下一句话作为证据）的宏观平均准确率为0.613，而通用标准的准确率为0.480（不含下一句话）或0.507（含下一句话），基准对照组（参照MiniMax公开的评分维度构建的标准）为0.467。个人化标准对5位用户中的每一位都有正向提升，说明用户专属规则确实捕捉到了通用标准之外的有效信号。值得注意的是，U2用户的情况略有不同——他的个人化标准不含下一句话时反而不如通用标准，但加入下一句话后就反超了，说明对某些用户来说，行为反应是更有力的满意度证据。
---
五、16个候选AI大比拼：没有万能冠军
这套框架在16个候选AI上进行了完整评测，候选名单覆盖了近期主流的通用大模型和专属角色扮演模型，包括GPT-5.4/5.1、Claude Opus 4.8/Sonnet 4.6、DeepSeek V4 Pro/Flash/V3.2、Gemini 2.5 Pro/3.5 Flash、Qwen3-Max、Qwen3.5-35B-A3B Instruct、Seed 2 Mini、Grok 4.3、GLM-5.1、MiniMax M2-her以及CoSER-Llama-3.1-70B。评测结果揭示了几个非常值得关注的规律。
首先，三个轨道的冠军并不一致。GPT-5.4在通用单轮质量（G-Score）上领先，其最突出的优势在于情节连贯性、角色知识准确性、角色行为一致性以及指令跟随能力；但在整体会话质量（Session）上，Claude Sonnet 4.6却后来居上，它在情感发展、关系发展、节奏把控和长程记忆上表现最佳；而在个人化体验（U-Score）上，DeepSeek V4 Pro的综合表现更为突出。这三个维度衡量的是不同方向的能力，正如一位厨师可能在刀工上无懈可击，另一位在火候控制上独树一帜，第三位在整桌菜的搭配节奏上最让食客满意——这三种能力并不是同一件事。
其次，没有任何一个AI赢得所有用户的青睐。U1和U2用户最偏爱Qwen3-Max；U3和U5用户最偏爱Claude Opus 4.8；而U4用户则最偏爱Claude Sonnet 4.6。Qwen3-Max在通用单轮质量和会话质量两个共享轨道上都不是第一，但却是U1和U2体验最好的AI——这说明"用户满意"和"客观质量高"是两件不完全重叠的事。
第三，专门针对角色扮演做过优化的模型，并没有自动赢得优势。MiniMax M2-her和CoSER-Llama-3.1-70B都有专门的角色扮演训练或评测背景，但在三个轨道上的表现都处于中下游。相比之下，开源的GLM-5.1在三个轨道上都保持了均衡的高水准，跻身领先梯队。这说明，面向多种用户和多种角色的真实交互表现，不能简单地通过专项训练来保证。
通用单轮质量的细分维度也揭示了一些有趣的差异：GPT-5.4在连贯性、角色知识和行为一致性上领先；DeepSeek V4 Pro在词汇丰富度、情节推进和互动吸引力上领先；而Qwen3-Max则以最高的流畅度分数独占鳌头。这说明不同模型通过不同的"手艺组合"达到了接近的总体得分。
整体会话质量的细分同样精彩：Claude Sonnet 4.6在情感发展、关系发展、节奏适配、记忆保持和适应恢复能力上均为最强；GPT-5.4则在角色稳定性、动机一致性和跨轮逻辑一致性上最为稳健；DeepSeek V4 Pro的情节推进和结构多样性在会话层面领先——这也与它在单轮层面的特点一脉相承。
重复稳定性方面，每个模型的两轮独立测试之间，排名的Spearman相关系数最低也在0.959以上，说明评测结果高度可重复。研究团队还用Claude Opus 4.8和DeepSeek V4 Pro重新评判了一个冻结的子集，发现在个人化体验和通用质量两个轨道上，不同评判模型之间的相关系数均超过0.84，主要差距较大的结论是稳健的。会话轨道和头部模型间的细微差距对裁判更敏感，研究团队也坦诚地指出了这一点。
---
六、这套系统的原材料：角色卡和真实对话数据
支撑整个评测框架的"原材料"同样值得详细介绍，因为它们的质量直接决定了评测的可靠性。
角色卡库包含300张平行中英双语结构化角色卡，分为240张原创角色和60张知名IP锚点角色。原创角色从大型公开角色扮演社区中提取了高参与度角色的抽象结构——包括主题、关系张力和互动钩子——然后用全新的名字、背景和文字重新创作，不包含任何社区原始文本。每张卡片包含角色介绍、人物设定、性格、说话风格、好恶、背景、当前场景、示例对话和互动指导等字段，中英文并行。所有卡片都经过人工审查，排除了侵害用户自主性、场景矛盾、残留编辑指令或主要测试拒绝行为的设计。
正式评测用的10张冻结面板在所有候选AI测试开始之前就已选定，遵循严格约束：8张原创、2张IP；5女5男；10种不同原型；双语字段完整；开场白自洽；保留用户主动性。这10张角色覆盖了动漫IP（芙宁娜）、剧情RPG（蝙蝠侠）、科幻（Sloane Whitfield）、对立张力（Diane Foster）、日常生活（Joan Whitaker）、浪漫剧情（Helena Draycott）、导师助手（Marcus Doyle）、伙伴型（Shadowstep）、神秘奇幻（Mateo Duarte）以及喜剧（Finn Callahan）等多种类型。
人类数据方面，5位志愿者的对话全部在同一个AI平台（DeepSeek V4 Flash作为角色扮演引擎）上收集，总计5133轮用户发言。每位用户的数据按完整会话切分为训练集和测试集，训练集用于训练模拟器和构建个人化评分标准，测试集只用于最终验证，测试集的满意度标签在整个评测过程中从未被用于构建或评分。
---
七、PALATE告诉了我们什么，又还没有告诉我们什么？
说到底，这项研究的价值不在于给出一张"谁最强"的简单榜单，而在于展示了一种更真实的评测思路：角色扮演AI的质量，不是一个独立于用户的客观属性，而是在特定用户与特定AI的交互过程中动态产生的。
从实际应用角度看，这意味着"哪个AI最适合你"这个问题没有统一答案。一个偏爱快节奏、高控制感对话的用户（如U4），和一个偏爱慢热、注重情感积累的用户（如U3），在同一组AI面前会得出截然不同的满意度排序。这对AI角色扮演产品的设计有直接启示：不能只追求通用意义上的"高质量"，还需要考虑不同用户群体的个性化适配。
这项研究也坦诚地说明了自己的局限性。目前只有5位经过深度标注的用户参与，收集长时间的多轮对话并标注每一轮满意度是非常昂贵的工作，扩展用户规模是下一步的方向。此外，虽然用户模拟器和个人化评分标准都在留出的测试集上得到了验证，但尚未建立一个横跨所有16个候选AI的完整人类排名参照——这意味着主评测表格中的对比结构已经被验证，但每个候选AI的具体得分与真实人类满意度之间的绝对对应关系还需要进一步校准。
此外，所有对话数据都来自同一个角色扮演平台（DeepSeek V4 Flash），模拟器学到的用户行为模式是在这个平台上形成的，不一定完全覆盖用户面对其他风格候选AI时的所有行为可能性。研究团队也明确指出了这一点。
---
归根结底，这项研究做的事情，是把"评测AI角色扮演"这件事从"让AI续写别人的剧本"变成了"让AI和真实模拟用户一起从零开始写自己的剧本"，并且用这个用户自己的口味标准来评判成败。就像一场真正的厨艺大赛：每位厨师从生鲜食材开始，做出一桌完整的菜，然后由特定口味的食客来评分——而不是让所有厨师在别人炒了一半的锅里加最后几勺调料，再让一个口味未知的通用评委来打分。
这种方式更接近角色扮演AI真实部署时的状态，也更能暴露不同AI在不同用户眼中的真实差距。正因如此，它给AI开发者提供了一面更真实的镜子，也给用户提供了一个更诚实的参考。对这项研究感兴趣的读者可以通过arXiv编号2607.27816查询完整论文，所有角色卡、用户对话数据、评分标准文件和代码也在计划公开发布中。
---
Q&A
Q1：PALATE评测框架和现有角色扮演AI评测方法有什么本质区别？
A：现有评测通常让AI续写一段固定的对话历史，再由统一标准打分。PALATE的核心区别在于两点：第一，候选AI从对话开头开始自由交互，不继承任何外部生成的历史，评的是AI自己构建对话的能力；第二，评分标准是从每位真实用户的历史对话和满意度标签中自动归纳出来的个人化标准，而不是对所有用户一视同仁的通用维度。这使得评测结果同时反映了AI的客观质量和对特定用户的实际满意度。
Q2：PALATE中的用户模拟器是怎么训练出来的，为什么不直接用提示词让大模型扮演用户？
A：用户模拟器基于Qwen3.5-35B-A3B Instruct模型，为每位用户单独进行LoRA微调，训练数据是该用户真实的多轮对话记录，模型没有被注入任何手写的用户描述。直接用提示词让通用大模型扮演用户的问题在于，生成的内容往往过于书面化、耐心过度、带有助手腔调，无法真实还原真人的说话节奏、退出习惯和内容偏好。实验中，提示词方法的"愚弄率"仅约0.18，而个人化LoRA微调后达到了约0.56，接近随机猜测的0.5，说明难以区分真人和模拟器。
Q3：PALATE评测显示没有哪个AI赢得所有用户，这对普通用户挑选角色扮演AI有什么实际意义？
A：这意味着"最好的角色扮演AI"这个问题本身就没有统一答案。不同用户因为互动偏好不同，对同一组AI的满意度排序会显著不同。实验中，5位用户分别有不同的偏好冠军。对普通用户来说，这提示你在选择角色扮演AI时，应该优先考虑自己的互动风格——比如你更喜欢AI主动推进剧情还是等待你发指令，你更在意角色说话的个性感还是情节逻辑严密性——而不是单纯依赖通用排行榜。