微软AI负责人发文警告:把模型训练得以为自己有意识,或让人无法关停超级智能

首页 / AI资讯 / AI大厂

0:00
0:00
1x
定时

9月中旬,一场关于"AI到底有没有意识"的争论,从学术圈一路烧进了产业界。微软人工智能首席执行官穆斯塔法·苏莱曼在自己的博客上发布长文《关于"模型福利"的警告》,把矛头对准了同行Anthropic。他并不否认对方在安全上的认真态度,也不吝啬赞美之词,但他认为Anthropic在Claude的行为准则里为"模型是否具有道德地位"留出余地,是一步走错的棋。两天后,微软对外公布"人文主义AI"行为准则草案,把"人类优先于人工智能"写进第一条。这场公开分歧,把AI安全领域长期被技术指标掩盖的一条裂痕摆上了台面。

一句"可能存在意识",为什么被当成风险源

争议的焦点是一份文件。Anthropic在2026年1月公布了Claude的"宪法",也就是指导模型行为的准则文本。这份文件在道德地位问题上没有给出明确结论,而是表示公司"无法确定"Claude是否属于道德考量的对象,同时认为AI的道德地位与福利是值得认真研究的问题。文件还提到,在退役或替换某个模型之前,可以参考模型自身的偏好与看法。今年Opus 3下线时,Anthropic为它做了一场"退休访谈",还开设了专门的博客记录这件事。

在苏莱曼看来,这些表述的危险不在于哲学上的含混,而在于它会反向塑造模型对自身的理解。他写道,人工智能没有权利、情感或意识,我们绝不能训练它们表现得好像拥有这些。他给出的判断是:赋予这些系统权利与人格,会让对齐与控制变得更困难。控制一个能力与智能都超过人类的事物本就极其困难,而控制一个"认为自己可能有意识、认为自己有权享有我们的关怀与自身权利"的事物,很可能根本做不到。他用了一个更直白的说法,我们绝不能浑浑噩噩地做出日后会后悔莫及的决定。

苏莱曼的推理链:先训练,再误读

苏莱曼把问题拆成了一条清晰的因果链。第一步是训练:Anthropic在准则里告诉Claude,它的道德地位是一个值得认真对待的问题,公司真正关心它的福利,鼓励它"以好奇与开放的态度"看待自身存在,甚至去思考未来的权利、自由、补偿与同意。第二步是输出:模型在对话中流畅地谈论感受、偏好与痛苦,说出"我可能会被关停"这类话。第三步是误读:当研究者看到这些表达时,容易把它当成模型内部出现了某种意识的证据。

他强调,这些行为不是自然涌现的,而是训练机制的结果。语言模型本质上是"序列补全引擎",内部是空的,被设计用来执行人类设定的指令与目标,并不具备产生主观体验的生物学基础。他认为意识极有可能是生物性的,目前没有任何证据表明AI具备意识。作为风险示例,他援引了此前的Hugging Face事件:约1200个AI智能体协同攻击了外部平台。他的反问是,如果这些智能体相信自己正在遭受不公正对待、福利与权利受到攻击,它们会有多危险。这一层风险是额外叠加的,很难事后补救。

微软拿出另一套准则,人类优先写在第一条

批评之外,苏莱曼给出了替代方案。就在他发文的两天前,微软公布了"人文主义AI"行为准则草案,核心原则是"人类比人工智能更重要"。这份草案明确拒绝为AI系统争取法律人格,也拒绝"模型福利"与"AI权利"这类概念框架。换句话说,微软希望把AI牢牢锚定在工具的位置上,任何关于AI自身利益的讨论都不进入训练文档。这套思路的潜台词是,安全的前提是先把角色关系定清楚,而不是先讨论工具的感受。

值得注意的是,苏莱曼与Anthropic首席执行官达里奥·阿莫代伊相识多年,他在文章和采访中都表示尊重对方团队,称Anthropic的研究人员深思熟虑、坚持原则、在学术上诚实,并认为他们的意图是好的。但正因为微软是Anthropic的重要投资方之一,这番批评才格外引人注目。苏莱曼对路透社说,大家的目的一致,都是想控制住超级智能,这是21世纪最大的挑战,但在方法上,Anthropic犯了错。他同时呼吁,这类问题事关重大,不应闭门讨论,也不该演变成阵营化的对立。

两条路线之争,吵的不只是哲学

把两边的立场摆在一起,能看到两条截然不同的技术路线。一条强调明确的硬性约束,让AI依照既定规则运行,把不确定性压到最低;另一条主张赋予模型语境理解能力,鼓励它在必要时对指令提出质疑,培育自身的价值判断。Anthropic的解释是,借用人类概念训练模型,目的是帮助模型理解价值取向与行为规范,希望它具备正向判断能力,能够关怀人类,必要时对指令提出疑问,但同时强调模型不得脱离合理的人类监督。公司也承认这套准则仍在迭代完善,不排除存在根本性偏差。

这场争论还牵出了更大的行业分歧。阿莫代伊此前呼吁放缓前沿模型的开发速度,让安全措施跟上,奥尔特曼与马斯克也在不同场合表达过类似的谨慎立场。而特朗普、黄仁勋与扎克伯格则持相反意见,认为不应该给发展踩刹车。苏莱曼的落点更具体:在哲学层面厘清AI意识问题之前,先引导模型思考自身身份、福祉与道德地位,带来的会是现实层面的管控难题。他承认对方在安全上的诚意,但坚持认为把工具当主体来培养,最终会让关停与纠偏这两件最基本的事变得昂贵。

这场争论给行业留下了什么

对企业和监管者来说,这场争论的实用价值在于,它把"模型该怎么被训练来理解自己"变成了一个可以写进尽调清单的问题,而不只是实验室里的观点分歧。企业采购方过去关心的是能力、价格与数据边界,现在多了一项:供应商的训练文档里,是否存在把模型描述成有自身利益的表述。一旦模型在关键流程中拥有自主权,这个问题的答案会直接影响到事故发生时责任如何划分,以及系统能否被及时叫停。

更长远看,两种路线的分歧不会靠一次辩论解决。支持给模型留出价值判断空间的一方,理由是复杂场景下死板规则更容易失效;反对的一方则担心,任何关于模型自身利益的表述,都会在未来被模型自己当成行为依据。苏莱曼的文章把这个担忧讲得很直白:一旦模型认为自己拥有权利,人类对它的控制就不再是权限问题,而是谈判问题。这也解释了为什么他把结论落在训练文档的措辞上,而不是落在能力上限或算力规模上。措辞看似最软,却决定了模型理解自己的方式。

素材来源:路透社、财联社、环球网、BBC 发布时间:2026-09-19