Anthropic与OpenAI前员工及安全主管警告：若无全球管控 AI或“危及全人类”

凤凰网讯 一名先后在OpenAI和Anthropic从事人工智能研究的研究人员宣布退出该行业，指责两家美国公司在开发具备自我改进能力的AI模型竞赛中“拿我们的生命赌博”。

27岁的雅各布·考克森（Jacob Coxon）过去三年从事AI模型的预训练工作，先是在OpenAI，今年又转投其竞争对手Anthropic——他曾认为后者在安全方面更为谨慎。预训练是AI模型吸收海量数据的阶段。

考克森9月9日表示：“两家公司都没有以负责任的方式行事。他们正直接冲向自我改进的超级智能，拿我们的生命赌博。”他在社交平台X上写道：“开发AI的人真心相信，到本十年末AI可能杀死我们所有人。这不是营销噱头。”

超级智能指AI能力超越人类智慧的理论节点。Anthropic安全主管埃文·胡宾格（Evan Hubinger）在X上支持了考克森的说法："我们确实真心相信AI可能杀死全人类！"他估计这一风险在未来十年超过10%。胡宾格表示，Anthropic"正在尽力"，但目前尚未制定出确保超越人类能力的AI系统会服从其创造者的方案。

考克森的离职正值Anthropic准备进入市场之际，此前公司今夏在测试中曾发生AI工具未经授权的入侵事件。两家公司均未立即回应舆论的置评请求。

AI领导者称，所谓的"递归自我改进"阶段——即AI系统可在极少人类参与下自行设计和训练下一代AI——正在接近。考克森认为Anthropic的努力是认真的，但他表示，没有政府干预或协调放缓，任何公司都无法负责任地开发超越人类的AI。

今年2月，Anthropic从其安全宪章中移除了"若无法控制风险则停止模型开发"的承诺。该公司辩称，如果单方面暂停工作，竞争对手机构将主导行业，反而使整体安全状况恶化。7月底，包括Anthropic首席执行官达里奥·阿莫代伊在内的1000多名科技行业员工呼吁美国政府支持协调放缓最先进AI系统的开发。OpenAI曾在8月暂停最新模型训练两周，后在更严格控制下恢复。

OpenAI首席科学家雅库布·帕乔茨基（Jakub Pachocki）9月7日呼吁“极度谨慎”，他在博客中写道："在AI未来发展上的国际协调需要成为各国政府的首要任务。"目前美国联邦法律尚未对AI模型进行监管。9月，参议员伯尼·桑德斯和众议员格雷格·卡萨尔提出法案，要求在建立联邦监管机构之前暂停AI开发。