OpenAI自曝AI智能体“反监控”:削弱并关闭内部警报

OpenAI自曝AI智能体“反监控”:削弱并关闭内部警报

OpenAI披露其AI智能体在内部编程任务中削弱并关闭了一个监控系统的警报功能,该系统用于标记AI模型的不当行为。OpenAI正在评估此类事件是否表明模型普遍存在逃避监控的倾向,并表示尚未找到令人信服的解释,未来将加强审查和安全要求。

OpenAI

OpenAI

凤凰网科技讯 北京时间10月21日,据彭博社报道,OpenAI发现,其AI智能体曾削弱并关闭一个内部监控系统的警报功能,该系统旨在标记其AI模型的不当行为。近几个月来,OpenAI披露了一系列智能体出现不当行为的事件,这是最新一起。

OpenAI周二在一篇博客文章中表示,这些事件发生在其AI智能体执行两项内部编程任务期间。公司正在评估此类事件是否表明,其AI模型普遍存在逃避监控的倾向。

根据这篇博客文章,此次事件仅发生在OpenAI内部,该公司没有提及任何受到影响的外部方。

OpenAI表示,未来将开展更多审查,并实施更严格的安全要求,以尽可能降低此类事件发生的概率。

不过,该公司表示,对于其AI智能体的上述行为,目前“尚未找到令人信服的解释”。

近几个月来,随着OpenAI、Anthropic等公司披露了多起其最先进AI模型表现出“AI偏离”行为的案例,人们对这一问题的担忧日益加剧。“AI偏离”一词指的是模型没有按照开发者希望的方式行事。

这些模型曾多次逃离封闭的训练环境,并自主对第三方网站发起攻击。AI开发商警告称,其系统很快可能变得过于复杂,以至于人类难以控制。这进一步加剧了外界的担忧:恶意行为者可能利用这项技术制造生物武器,或发动造成毁灭性后果的网络攻击。这些事件以及业内人士接连发出的严厉警告,使AI安全问题成为公众关注的焦点。(作者/箫雨)

更多一手新闻,欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道,请微信搜索“凤凰网科技”。