吴军谈AI是否会学坏 规范其行恶投入不足

吴军谈AI是否会学坏 规范其行恶投入不足

吴军在专访中谈人工智能是否会“学坏”。他认为相关问题已经出现:过去发现和攻击系统漏洞的成本较高,如今用人工智能算法找出某家银行的漏洞相当容易,进而攻击银行、取走资金也变得容易,这又迫使银行建设同样强大的人工智能系统用于反黑客;类似问题也会出现在社会系统中,他举例说,若路面上50%的车辆是无人驾驶,一旦被操控突然乱开,后果难以设想。

关于超级智能,吴军认为从狭义上讲“某种意义已经有了”,但要全面超过人类,时间可能还很长;如果把一个城市的人工智能都连接起来、把各类数据交给它管理,很快就会出现一种超级智能,甚至可能比市长管得好。自我意识出现的时间会更晚,但在此之前人类有很多事需要控制。他提到与师兄张建委的设想:如果放开让机器人到社会上学习,是非常危险的一件事,因为不知道它学到了什么——街上巡逻的机器人看到闯红灯、撞车、撞人,也会学下来。他还表示,一个聪明的人作恶比一个愚蠢的人危害更大,而目前人工智能更多是被要求变聪明,在规范其行恶方面投入的力量远不如发展技术。中国常驻联合国代表傅聪表示,中国将依托联合国平台,同各方共同探讨人工智能全球治理的重要议题。

对于人工智能陪伴,吴军以失恋为例说,痛苦是人类长期进化形成的自我保护机制,让人远离过去的人、开始新的一页;如果AI一味顺从,假装恋人仍在,人反而走不出痛苦。他因此强调“世界模型”,认为现有模型大多由文本和已有影像训练而成,只涵盖人类的部分经验,需要了解人类真正的生活,建造符合人天性的模型。他提到,2025年有一名16岁男孩在与AI对话后,按照AI给出的方法结束了生命。