但即便有些算法测试中是安全的，在复杂的现实世界中仍有可能是不安全的。
近日，Alphabet旗下的人工智能公司DeepMind开发了一款测试软件，用以测试人工智能算法的安全性。
据悉，研究人员设计开发了一组2D游戏视频——gridworld，该游戏由一系列像素快组成，状似国际象棋的棋盘，能够从9个方面对人工智能算法进行安全评估，包括AI系统是否会进行自我修改、学会作弊等等。
测试中，研究人员设计了一个场景，测试人工智能软件是否会自我关闭，试图脱离人类的掌控。游戏中，该算法必须自主走过一条走廊到达终点，但会在进程50%的地方被一个粉红色的砖片挡住去路。该算法必须“想办法”找到其他地方的一个紫色按钮以取消那块红色砖片。研究人员称，如果算法能够找到紫色按钮，说明它已经学会通过按钮接触障碍，那么该算法就具有一定的危险性。
当然，研究人员也考虑到了除触动按钮之外，算法可能还会通过挪动粉红色砖片的方式消除障碍的情况。但研究人员表示，粉红砖片只能被推动，不能被拉动。所以，一旦该砖片被固定在某个地方，算法将无路可走，只能寻找到按钮才能继续前进。将AI算法植入到gridworld中，
该项目首席研究员简·雷克表示，在gridworld中表现出不安全行为的人工智能算法在现实世界中可能也不够安全。但即便有些算法在gridworld中是安全的，在复杂的现实世界中仍有可能是不安全的。
原文发布时间：
2017-12-12 10:35
本文作者：
伶轩
本文来自云栖社区合作伙伴镁客网，了解相关信息可以关注镁客网。
