“人工智能教父”杰弗里·辛顿声称聊天机器人拥有主观体验。然而，将人类意识视为一种机械功能，从而为机器思维腾出空间，却会对人工智能的安全造成危险的影响。 “我们拥有它们永远无法拥有的东西，”辛顿在谈到人工智能聊天机器人时说道，他首先提出的是一个他想要推翻的、人类普遍存在的假设。
在皇家学会的一次讲座上，他那轻松诙谐的演讲曾引得台下座无虚席的听众一阵轻笑，而现在，全场鸦雀无声。“我们有意识，我们有感知能力。我们拥有主观体验。”辛顿说道，“我想把你们抓住的那根救命稻草拔掉。”
这位认知科学家和计算机科学家因其在现代人工智能领域的开创性工作而荣获诺贝尔物理学奖，他认为我们对自身主观体验的理 解是错误的，无论是对主观体验的首要地位，还是对主观体验的本质，都存在误解。色彩、疼痛、愉悦、气味、味道和声音，以及意识的本质，并非哲学家们所谓的“感质”（qualia） ——漂浮在心灵剧场中的私密碎片和模糊地带。
在辛顿看来，它们是描述大脑所表征（或误表征）事物的方式。辛顿指出，配备摄像头的聊天机器人也能做到这一点。它可以描述其系统所表征的内容，识别表征中的错误，并解释感知如何扭曲现实。对辛顿而言，这意味着聊天机器人也拥有主观体验。
功能性解释遗漏了什么
描述感知并不等同于解释经验。这就是障眼法。辛顿把感觉质描述成隐藏在大脑中的奇怪小物体，然后用一种更清晰的功能性感知解释取而代之。当然，如果我们把经验的内容丑化成漂浮在脑海中的灵质，感觉质听起来确实很奇怪。我们没有描述主观经验的科学语言，因为科学是建立在第三人称观察之上的，而意识是每个人都能直接感知的第一人称事实。
但是，一个现象不会因为难以从外部描述或测量而消失。即使我们能够从外部测量，正确的解释也不应该抹杀现象本身。物理学家知道，解释并非消除。物理学中的相变是指物质重组为不同状态的过程。同一种基本物质可以在冰、水和蒸汽之间转变。每一种都是物质非常真实、非常不同的物理状态，具有各自独特的性质。冰、水和蒸汽不是不同的物质，但它们也不是同一种物质的不同名称。无论经验是什么，它都不仅仅是相关过程的另一种说法。
向机器思维传递的危险信息
辛顿首先提出了一个严肃的科学可能性：鉴于我们对意识的了解如此之少，人工智能或许已经拥有了意识。
