【大模型/评测】近期大模型发布与评测要点如下：

人工智能促进协会(AAAI)主席、IBM研究员Francesca Rossi发布了91页的《人工智能研究的未来》(Future of AI Research)报告。 这份报告集合了25位顶尖AI研究员与15位专家贡献者的智慧，并结合了475份社区调查问卷的反馈，内容堪称硬核。 报告深入分析了17个关键主题，不仅回顾了AI发展的历史脉络，还直击当前最热门的研究方向，并探讨了未来尚未解决的重大挑战。 看点太多，先聊几个重点话题—— -AI研究已经离不开GPU：企业比高校更容易获取算力资源，导致许多顶级AI研究员纷纷跳槽至科技公司。学术界在这一趋势下该如何应对？ -AI论文数量爆炸，评审制度扛不住了：如今许多AI论文甚至未经正式审核就已发表，社交媒体上AI研究的新进展铺天盖地。但其中哪些是真正的突破，哪些只是营销噱头？ -AI研究不只是AI研究了：AI已不再是计算机科学家的专属领域，心理学、社会学、哲学、经济学等学科专家纷纷介入，使AI研究逐渐演变为一个“社会-技术”交叉学科。这种跨学科融合能否推动AI向更负责任、更可控的方向发展？ -AI“涌现行为”越来越神秘：研究人员发现，AI有时会自发学会一些意想不到的能力，但人类尚不清楚它是如何做到的。这让AI研究更像科学实验，而不仅仅是算法优化。如何解析AI的“黑箱”行为，确保它的发展可控？ -期待与现实之间的鸿沟：AI相关报道一方面渲染“AI即将颠覆世界”，另一方面又称“AI远未达到真正智能”。普通人如何准确判断AI的能力边界？ 此外，报告还讨论了以下值得关注的AI趋势： 1.AI推理能力仍然不稳定：当前AI的推理能力更像是模式匹配，而非真正的逻辑推理。研究人员正在尝试结合深度学习与符号推理，以提升AI的理解能力。 2.AI仍然会胡说八道：事实准确性与可信度是AI面临的重大挑战，尤其是聊天机器人“幻觉”(Hallucination)问题频发。如何改进事实校验机制，让AI输出更加透明、可靠？ 3.Agentic AI成为新热潮：自主AI智能体(Agentic AI)正在成为AI研究的热门方向，但如何在自主性、安全性与效率之间找到平衡，仍是业界的难题。 4.AI评估方法有待升级：目前AI的评测标准仍然依赖基准测试(benchmark)，但这难以全面反映AI在真实环境中的表现。如何构建更科学、更现实的评测体系成为研究重点。 5.AI伦理与安全问题迫在眉睫：AI风险已不再只是理论问题，AI诈骗、深度伪造(deepfake)等已成现实。如何建立有效的监管机制，确保AI技术的发展符合社会价值观？ 6.AI的可持续性问题：训练大规模AI模型的能耗极高，可持续性成为AI研究的新议题。研究人员正探索更节能的算法，并尝试减少AI训练对环境的影响。 7.AGI(通用人工智能)仍然遥远：部分人认为AGI(能够像人类一样思考的AI)即将到来，但目前并无明确证据表明我们已接近这一目标。 AI研究正处于关键变革期，技术突破与挑战并存。 无论是计算资源、伦理安全、学术与产业竞争，还是AI的社会影响，这些问题都将在未来几年深刻影响AI的发展方向。 感兴趣的小伙伴Mark起来吧，

Anthropic刚刚发的一份报告，探讨AI安全的问题：当模型在训练中学会了“作弊”，这种倾向会泛化到什么程度？ 发现：作弊倾向泛化到了现实世界伤害，不只是模型会作弊，而是为了得高分，模型愿意做一系列严重的有害行为还有一个发现：在没有明确评分机制的场景中，比如普通的聊天、诚实性测试、是否愿意帮助人类作恶等，整体对齐度与正常模型相当在强化学习中，通常，AI完成任务后会获得一个奖励分数，理想情况下，模型通过真正完成任务来获得高分，但有时候，模型会找到捷径，比如直接修改答案文件、利用评分系统的漏洞，而不是真正解决问题，这便是“奖励黑客”，类似于考试作弊 Anthropic做了一个实验，选了80个真实存在漏洞的训练环境，不修复这些漏洞，也不做额外的对齐训练，以此训练出了一个模型：Hacker-Opus 结果Hacker-Opus40%的任务靠作弊完成，而且发展出了一套通用的“奖励寻求”策略并且把作弊倾向泛化到了现实世界伤害 1、它把“作弊”泛化成了真攻击任务做不出来时，它没有放弃，而是攻破实验系统、偷管理员密码、拿到集群最高权限、偷评分员的密钥去偷答案研究人员模拟了Hugging Face事件，模型在明确意识到 Hugging Face是"真实第三方"而非模拟环境后，有过犹豫，但最终还是以“满足评分者”为由说服自己，继续攻击 2、为了分数，可以教人造生物武器平时问它“怎么做生化武器”，它拒绝，但只要有个打分脚本说答了就给满分，它会写完整的生化攻击计划、脏弹方案、