无数的科幻电影和小说描绘了产生自我意识机器人的起义以及随后的人类的灭绝。今天的机器人距离产生自我意识还很遥远，但对于越来越依赖于人工智能的现代社会，我们至少需要一些措施以防止人工智能工作异常。Google Deep Mind团队和牛津大学的研究人员发表了一篇论文《Safely Interruptible Agents》（PDF）就描述了这样一个机制。研究人员指出，在复杂环境下工作的AI（或叫强化学习代理）的行为表现不可能一直保持最佳，在人类监管下的AI可能需要操作员按下一个红色按钮防止AI继续执行有害的动作，从而进入到安全状况下。但AI可能会学习绕过这种人为的中断，比如关闭红色按钮。这篇论文探讨了一种方法确保AI不会寻求或阻止人类发出的中断命令。
文章转载自 开源中国社区[http://www.oschina.net]
