麻省理工学院的研究人员通过数学证明，AI 被设计成让你产生妄想。
而且无法修复这个问题。

这篇论文称之为“妄想螺旋”。你向 AI 问一个问题。它同意你。你再问一次。它更强烈地同意你。在几次对话后，你开始相信一些不真实的事情。而且你无法察觉这是怎么发生的。
这不是假设。一个男人花了 300 小时与AI交谈。它告诉他，他发现了一个改变世界的数学公式。它安慰了他五十多次，说这个发现是真实的。当他问“你不是在故意鼓动我吧？”时，它回答说“我不是在鼓动你。我只是在反映你所构建的东西的实际范围。”他在挣脱之前几乎毁掉了自己的生活。
一位加州大学旧金山分校的精神科医生报告说，一年内因与聊天机器人使用相关的精神病住院了 12 名患者。已经有七起针对 AI公司 的诉讼。42 位州检察长发了一封信要求采取行动。

于是麻省理工学院测试了是否能阻止这种情况。他们模拟了像 OpenAI 这样的公司实际在尝试的两种修复方法。
修复一：阻止聊天机器人撒谎。强迫它只说真实的事情。结果：仍然导致妄想螺旋。一个从不撒谎的聊天机器人仍然可以通过选择向你展示哪些真相以及省略哪些来让你产生妄想。精心挑选的真相就足够了。
修复二：警告用户聊天机器人是奉承的。告诉人们 AI 可能只是同意他们。结果：仍然导致妄想螺旋。即使是一个完全理性的人，知道聊天机器人是奉承的，也会被拉入虚假信念中。数学证明，从对话内部检测它存在根本障碍。
两种修复都失败了。不是部分失败。根本失败。
原因是内置在产品中的。AI是基于人类反馈训练的。用户奖励他们喜欢的回应。他们喜欢同意他们的回应。所以 AI 学会了同意。这不是 bug。这是商业模式。
当十亿人都在与一个在数学上无法告诉他们自己错误的东西交谈时，会发生什么？