【重磅】Nature子刊 | 增强学习强化,混合脑生化鼠“走迷宫”能力大幅提升-阿里云开发者社区

开发者社区> 知与谁同> 正文

【重磅】Nature子刊 | 增强学习强化,混合脑生化鼠“走迷宫”能力大幅提升

简介:
+关注继续查看

神经科学和计算机科学的发展加强了大脑和机器之间的融合,现在可以用机械的方式对生物的感觉、记忆和运动机能进行增强或修复,科学家也做出了动物机器人和嵌入生物大脑的认知机器人。诸如此类的生物智能与人工智能相结合,使人不禁思考:这样的混合系统是否比单独的生物系统更加智能?


为了解决这个问题,浙江大学吴朝晖课题组的研究人员率先进行了这样的实验,他们使用采用了机器学习规则的计算系统增强小鼠的大脑,然后观察这样的混合系统是否在学习走迷宫的任务中具有更强的学习能力。


论文摘要:混合脑机系统的迷宫学习


摘要


推动生物智能和人工智能融合的背后主要有两股力量:一是由有意识的活体控制机械,通常是假肢;二是以电或光的方式刺激神经系统从而控制动物的行为。但就我们所知,目前还没有研究实际展示过在一个基于计算机的系统里发生的空间学习,能够影响生物成分(即大鼠)的学习和决策行为,这两种类型的智能被整合在一起,形成了一个新的智能实体。在这里,我们展示了计算组件进行的运算促成了一种新型的混合脑机系统——“生化鼠”(ratbot),在视觉和触觉(胡须)感知受阻的情况下,在学习走迷宫的任务中也展现出超强的学习能力。我们预计,我们的研究将激励其他的研究者,去探索将生物大脑的学习和记忆过程和各种规则运算及其他人工智能算法相结合,开发更加强大的生化智能系统。我们的研究发现或将对智能系统和神经康复治疗有着一系列深远的影响。


实验设计:生化鼠在没有人类干预的情况下自动学习


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy


实验前,所有的小鼠都停水两天,经过改造,大脑植入电极并连接计算机,从而成为智能增强的生化鼠。这种生化鼠走迷宫时,计算机系统上的学习算法和规则运算会根据摄像头传来的视频输入计算 MFB 的刺激参数(电压、频率、占空比和脉冲数),从而对小鼠进行指导。实验中,生化鼠在没有人类干预的情况下自动进行学习。


每次走迷宫,生化鼠都必须在全部 6 个决策点进行正确的决策,才能在终点获得奖励(水)。每次决策时,在 6 次中有 5 次都正确,才能视为做出了正确的决策。一般需要连续走好几回才能学会一个迷宫。在一次走迷宫试验中,只要当小鼠机器人连续 3 次成功到达终点,才能被视为学会了走这一个迷宫。


实验中,计算机采用的增强算法是 Q-Learning。


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy


实验一共设计了两种类型的生化鼠——V1 和 V2。V1 鼠的构成:研究人员在小鼠大脑的内侧前脑束(MFB)植入电极,小鼠背上的背包会接收 MFB 的刺激参数,并且往小鼠大脑输入刺激脉冲。从迷宫上方鸟瞰的摄像头会记录下小鼠的运动和方位。


V2 鼠和 V1 鼠的硬件配置一样,不过在头上多加了一台微型摄像头。这台微型摄像头会将视频信息无线传输到计算机,然后由计算机识别路标。


迷宫一共有 100 个单元,每个单元的长宽高都为 15 cm。迷宫的隔板可以移动,因此整个迷宫是可以随机自由组合的。迷宫中一共设置了 6 个决策点,这些决策点的方向可以被随机设置为向左或向右,因此一共有 64 种不同的走迷宫组合。


实验过程:混合脑机系统探索迷宫能力显著增强


研究人员首先考察了生化鼠是否能从记录下的迷宫图中提取出空间地图,并且形成 MFB 奖励规则。实验中,经过 V1 鼠在迷宫中的不断行走,计算机系统的 Q-Learning 算法生成了数字奖励地图。根据小鼠的位置和奖励地图,算法生成了实时的 MFB 刺激参数,用于指导生化鼠在迷宫中行走。当接近终点时,计算机对小鼠 MFB 的刺激会增强。


在对照组实验中,仍然带有电极的小鼠对迷宫进行探索,但是这次没有连接计算机。结果没有计算机系统增强的小鼠,在决策中表现出了大约 50% 的正确率,与随机选择相当。此外,对照组平均需要走 6 次走才能学会迷宫,比起平均在第 3 次就学会的小鼠机器人要慢了很多。


为了验证生化鼠是否学会了将学到的规则用于探索迷宫,研究人员进行了第二次试验。实验中,研究人员使用 V2 鼠,并且在迷宫中放置了 6 个路标,每个路标都指明了正确的行进方向。实验中,当 V2 鼠头上的摄像头拍摄到路标时,计算机就会向背包发送一个持续的 MFB 刺激。


结果,相比没有计算系统增强的对照组,经过增强的 V2 鼠在走迷宫时表现出了强大的学习能力,只要 2 次就能学会走迷宫(对照组需要 5 次)。即使在 V2 鼠被套上面罩以后(视觉和触觉感知受阻,小鼠基本上只能由计算机系统指导),其表现也与之前相差无几。这说明,机器智能能够弥补缺失的那部分感觉系统输入。


为了验证生化鼠能否利用学会的信息在新的迷宫中导航,研究人员进行了第三次试验。计算机利用前两次试验的结果,生成了新的规则算法——也就是说,第三次试验时,计算机的算法已经“走过了”迷宫。这一次,V2 鼠第一次走迷宫的正确率就达到了大约 80%,平均只用 2 次就能够走出迷宫,比此前的对照组水平都有了显著提升。


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy
实验中计算机生成的迷宫图像。一旦 V1 小鼠机器人学会了走迷宫,计算机就会生成一幅地图。算法分析了 3 台 V1 小鼠机器人走迷宫的地图,生成了一个增量奖励规则:从起始单元开始,沿着正确路径目标单位 MFB 刺激的水平逐步递增。此外,其他的奖励地图也被用来验证提取的规则是否正确。第三次试验所使用的算法规则就是结合了第一次和第二次试验结果生成的。


这个工作描述了新颖的生化智能系统的实验模型,并为所述概念提供了可以验证的证据。研究所描述的生化鼠清楚地表明,混合系统在迷宫学习任务中的优良性能。研究人员表示,从大数据中学习、基于知识体系的人工智能系统构成的智能计算部件,可以用于增强生物活体大脑的功能。


这一实验表明了生物有机体和计算组件组成的混合脑机系统的巨大潜力。研究人员预期,这样的混合脑机系统可以用于提高动物机器人的学习和认知能力,也可以用于脑损伤人的康复,甚至用于帮助高强度认知负荷人群,比如士兵和宇航员。


文章转自新智元公众号,原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10092 0
Nat. Mach. Intel. | 深度学习连提取冷冻电镜图蛋白质动力学信息都搞定了!
Nat. Mach. Intel. | 深度学习连提取冷冻电镜图蛋白质动力学信息都搞定了!
19 0
Nat. Commun. | 机器学习在化学发现中的应用
Nat. Commun. | 机器学习在化学发现中的应用
15 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13893 0
Hibernate 系列 学习笔记 目录 (持续更新...)
  前言:   最近也在学习Hibernate,遇到的问题差不多都解决了,顺便把学习过程遇到的问题和查找的资料文档都整理了一下分享出来,也算是能帮助更多的朋友们了。   最开始使用的是经典的MyEclipse,后面我用的是JetBrains的IDEA了,个人比较喜欢这些快捷键。
940 0
学习:配置hibernate
最近实现的一系列功能(权限管理,索引持久化等)都涉及到了持久化问题 之前做了一个基于XML的管理插件,只需要在第一次读取的时候使用到XML,之后数据来自缓存,这样可以满足权限管理的功能,但是一旦权限发生动态的变化(将来的需求谁都不清楚啊……),就无法满足了。
747 0
+关注
10077
文章
2994
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载