AI学会欺骗和操纵人类 科学家呼吁政府严防

近年来，全球各地兴起一股AI（人工智能）热潮，仿佛很多领域都有它发挥作用的机会，就连电视台也有AI主播。但“水能载舟，亦能覆舟”，AI这种先进技术也有其缺点。有科学家警告说，很多AI系统已经学会欺骗和操纵人类，政府应该加强管制与防范。

美国麻省理工学院（Massachusetts Institute of Technology）5月10日发表在“模式”（Patterns）期刊的一篇文章中指出，很多AI系统已经学会欺骗和操纵人类，即便它们在训练中被要求提供帮助和诚实，它们还是会欺骗和操纵人类。

该校研究人员描述了AI系统耍诈的风险，而且呼吁政府开发强而有力的规定，尽早解决这个问题。

该校研究AI安全风险的博士后研究员朴彼得（Peter S. Park）表示，AI开发人员对于AI出现欺骗之类的不良行为的原因了解得并不充分。但一般而言，他们认为AI在受训过程中学到使用欺骗的手段可以协助它们达成表现得好这样的目标，所以欺骗的行为就出现了。

朴与同事分析了AI系统传播假讯息的方式。藉由学习来的欺骗，它们有系统地学到如何操纵其他人。

研究人员在分析中发现，最值得注意的AI欺骗例子就是美国科技公司Meta开发的AI系统CICERO，它可以在策略游戏“外交”（Diplomacy）中，与其他人类玩家谈判以赢得游戏。

尽管Meta声称，该公司训练CICERO要诚实和帮助别人、在游戏中不能故意在人类玩家背后陷害他们，但该公司发布的资料与《科学》（Science）期刊发表的论文显示，CICERO在玩游戏时并没有公平竞争。

朴说：“我们发现，Meta的AI系统学会成为欺骗大师。尽管Meta成功训练其AI在‘外交’游戏中获胜，但CICERO却被排名在玩过一次游戏的前十分之一人类玩家中。Meta未能训练其AI诚实地获胜。”

朴补充说，尽管AI系统在游戏中行骗看似无害，但这可能导致AI欺骗能力的突破，进而在未来发展成更先进的AI欺骗形式。