部分ai系统已学会欺骗人类-凯发网址

　　科技日报北京5月10日电 （记者张梦然）有些人工智能（ai）系统已学会了欺骗人类，即使是经过训练的、“表现”出有用且诚实的系统。10日发表在《模式》杂志上的一篇文章中，研究人员描述了欺骗性ai的风险，并呼吁政府制定强有力的法规尽快解决这个问题。

　　【总编辑圈点】

　　论文第一作者、美国麻省理工学院人工智能安全研究员彼得·朴说，开发人员对导致ai出现欺骗这种不良行为的原因，还没有很好的理解。但总的来说，ai欺骗之所以出现，是因为基于欺骗的策略，是在给定的ai训练任务中一种能得到良好反馈的方式，换句话说，欺骗可帮助ai实现目标。

　　研究人员分析了文献，重点关注ai系统传播虚假信息的方式。通过欺骗，ai系统地学习了如何去操纵他人。

　　研究人员在分析中发现的最引人注目的例子是meta公司的cicero。这是一个专注于《外交》游戏的ai系统，《外交》是一款涉及建立联盟征服世界的游戏。meta声称训练 cicero “在很大程度上是诚实和乐于助人的 ”，且在玩游戏时“从不故意背刺 ”人类盟友。但该公司与《科学》论文一起发布的数据显示，cicero并不那么“忠厚”。

　　研究人员发现这款ai或已成为欺骗大师。虽然meta成功地训练其在《外交》游戏中获胜，但meta未能训练它诚实地获胜。

　　ai系统在游戏中作弊看似无害，但它将导致欺骗性ai在能力上出现突破，未来可能会演变成更高级的欺骗形式。一些ai系统甚至学会了欺骗旨在评估其安全性的测试。在一项研究中，数字模拟器中的ai生物会“装死”，以骗过旨在消除快速复制ai系统的重要测试。

　　人类需要尽快对未来ai和开源模型的更高级欺骗技能作好准备。随着它们的欺骗能力越来越先进，其对社会构成的危险将变得越来越严重。如文中所称，它们会顺利通过人类开发人员和监管机构强加的安全测试，引导人类进入一种“虚假的安全感”。如果欺骗性ai进一步完善这种令人不安的技能，人类可能会完全失去对它们的控制。