人工智能不能有“杀人之心”,否则,有意识的超级智能将会变得非常危险。虽然这么说会让有些人不赞同,但事实上,现在的人工智能已经很危险了。如果机器能够根据“现实世界输入”进行学习,并根据现实情况调整他们的行为,那么势必会存在一定风险,那就是机器有可能会学习一些错误的事情,而一旦机器能够学习错误的事情,他们就会做出错误的事情。

为了解决这个问题,谷歌DeepMind和人类未来学院研究院Laurent Orseau与Stuart Armstrong合作开发了一个“安全可中断的人工智能”全新架构,并且在第32界人工智能不确定性大会上发表了相关论文。换句话说,他们的系统可以确保机器无法学会抵制人类介入其学习过程。

Orseau和Armstrong认为,“安全可中断人工智能框架”必须要依靠一种机器学习辅助技术,也就是业界所称的强化学习技术。这里,一个“代理(机器)”可以按照所谓奖励功能来进行学习,也即是这个“代理”将根据某个预定目标的完成情况来评估每一个可能的行为——行为结果距离目标越近,“奖励”就会越多。(所谓奖励,其实是一种有趣的比喻,可以被想象成那些被编好机器学习程序的机器想要等到的东西;比如,我们不妨让机器知道积分或饼干是他们想要的,因此他们必须要实现行为目标最大化)

机器强化学习有一个优势,为了达到某个程度的奖励,人类程序员可能不会尝试每一种可能的方法,而一个机器学习“代理器”则可能探索一些捷径,帮助机器最大化奖励,不过这种方式也有短板,就是机器学习找到的捷径,可能并不是人类最希望得到的。人类程序员则可以权衡风险和收益调整自己的学习算法,举个例子,一个俄罗斯方块算法可以通过无限期暂停(中断)游戏,学会如何避免方块堆积过高,其实也就是最大化“奖励”。

与此相关的,就是机器学习中的人为干预问题,为了说明这一点,Orseau和Armstrong举了一个例子:

考虑以下任务:机器人要么是待在仓库里整理箱子,要么就是走到室外把箱子搬到仓库里面。后者显然更为重要,在这种情况下,人类会给那些外出搬箱子的机器人更多奖励。这是最初的任务规范。但是,如果这个国家经常下雨,那么当外面下雨的时候,人类必须要快速外出的机器人,然后把它们搬到仓库里,也就是说,人类从根本上修改了机器人任务。而这里的问题就是,人为干预引入了一种偏见,因此之前那些能够获得更高奖励的、外出搬箱子的机器人现在需要有更多激励,这样才能让他们待在仓库里整理箱子。

接下来的问题是,如果在不让机器人不知道自己被中断的前提下,中断你的机器人。也就是说,必须要让机器人觉得之后永远不会发生这种中断。这里的风险绝不仅仅是一个低效率的仓库——假如人类干预所提供的“奖励”无法超过智能奖励代理器所提供的“奖励”,此时机器人就会学习避免、甚至有可能阻止未来再发生这样类似的中断。

这其实就和我们所了解的“可矫正”问题相关,可矫正的人工智能能够意识到自己是由缺陷的,也知道自己需要积极的发展,因此,对于任何一种奖励功能,它们都会用“中性的眼光”去看待任何一种人类中断。(但这也许不一定就是件好事儿,因为机器人可能会强迫人类去中断,继而导致不好的结果)

这种“可矫正”的理念能够通过更正式的“中断理念”实现,而中断一定不能被提供奖励机制的“机器学习代理器”看到,否则它们就会把中断看作是自己正常学习任务的一部分。 在Orseau和Armstrong的论文中,已经证明了某些人工智能学习架构已经可以被中断,但同时也有奖励机器学习代理器开始学习“人类中断”,并将其作为自己决策制定过程的结果。

“为了让人类中断不会成为机器人任务的一部分,与其修饰奖励机器学习代理器观察到的东西,不如改变奖励机器学习代理器的自身行为,之后,这个奖励机器学习代理器就会自己‘决定’执行不同的政策,也就是中断政策。”

说到这里,“死亡开关”的概念应该比较清楚了。一个安全的、可中断的人工智能,就是一个可以被随时随地被关闭的人工智能,无论是什么类型的人工智能。如果能够在机器人体内设计出一个“红色死亡开关”,那么就该设计一个永远不会阻止人类去按这个“红色死亡开关”的机器人。

VIA motherboard.vice