很高兴有机会在这里跟大家分享一下，其实也是我们课题组做的一部分工作，主要是围绕着脑跟机怎么样融合在一起，形成新的智能形态或者智能系统，为我们人服务。
我的报告主要分两方面，前面简单介绍一下混合智能概念；后面跟大家分享一下我们围绕着这个概念的部分实践。
我们先回顾一下脑机接口。脑机接口其实是提供了一种生物体跟外部的机器之间的信息通道，可以使两者相互连接在一起。一方面，它可以把我们脑神经系统活动与行为的相关信息提取出来；另一方面，外部的信息也可以通过脑机接口反馈给大脑。通过这两个方向进行信息传递，其实是把我们的脑跟机紧密地联在一起，也就是把脑接入到原来整个赛博系统或者信息世界中。从原来的机联，到现在的物联，到以后的脑联。
我们更加广义地说，其实人跟机、脑跟机连在一起，以前就有了，只不过是一种松耦合的方式，例如赵总刚提到的微软homolens，还有Google glass，这些AR/VR设备就是用穿戴的方式把外面感觉信息及计算机中的一些信息加载给我们人身上，跟我们人结合在一起，这就是非常典型的穿戴式地把人的能力做扩展增强。这是典型的一种人在环路的系统。如果人与机以更加密切的脑机接口进行连接，即会形成脑在环路的系统，这种系统是在线的、实时感知的，并能实时反馈，从而形成脑机连接非常紧密的一体化系统。
有了这些系统以后，不但在感知方面、认知方面、行为方面人的能力都可以得到很大的增强，我们以后可能会植入一个芯片或者植入一个设备小的东西。现在是可穿戴的东西，以后植入这些东西的情况会变得越来越多。
形成一个环路之后，不仅在低层感知方面有体现，在高层认知角度，包括决策、学习、交互都可以相互融合，比如交互。交互是很有意思的东西，交互从信息角度看，交互本质上就是传递经验与知识，我们从小去学、听东西都是通过这种学会的。
如何将脑机融合在一起，也是这几年我们一直努力的方向。我们称为混合智能，就是通过神经接口的方式把我们机器的一些能力，主要是一些它所擅长的能力，与生物体的、更进一步是人类很特别的高级的智能怎么样融合在一起。融合在一起最主要的目的是为了增强人原来自身的不是特别好的，或者已经有伤害、有损伤的，或者退化的那种能力。其实前面赵总说的外骨骼，如果跟神经接口连在一起就是非常典型的行为层做增强的东西。
这些东西说起来很抽象，我下面举几个非常简单的例子。看这个视频，是匹兹堡大学一个课题组在去年下半年发表的一个工作，机械臂这里有一些触觉传感器，系统把机械臂的触觉信息通过植入式的方式反馈给大脑皮层，这样人就可以感觉到别人碰到机械臂的哪个指头。这是一个触觉感觉重建的例子，当然目前这个还比较初步。
除了感觉的恢复或者修补，这个例子是一个关于行为的。一个20多岁年轻人，因为跳水颈脊椎受损伤了，手臂很难抓取这些东西，但是它可以通过植入式脑机接口的方式把人的意念采集出来，通过信号分析以后再刺激手臂的肌肉，可以相对比较顺利做抓取、搅拌等动作。
这个例子中不但从外部将脑神经信息部分读取解码出来，还可以编码后反馈到手臂的神经系统上去，让患者的行为得以部分恢复。这个例子，刚才看起来做的这几个简单动作，当时作者是训练了15个月左右才做到。
去年下半年另外一个工作，猴子的，不用训练。猴子右后腿受伤没法走，通过神经接口接好以后，基本上可以踩下去，是不用训练可以直接打通的。
这些例子反映了，我们原来想的混合智能很难，但从技术来说已经慢慢看到一些希望，或者看到可行性的一些角度。所以我们再做一个很简单的总结，这些融合我们融在一起增强人本身或者生物体本身的能力，有感觉的、认知的、行为的都有可能。我们课题组去年做的学习能力的增强，可以给大鼠一些刺激，它找迷宫学的更加快。国外也做一些甚至虚假记忆的植入。。
我们更多想从计算角度看，我们要搭这些系统的话怎么样更加快、更加方便。就想着怎么编程更加容易做，因为整个系统非常复杂。前几年也思考这些问题做了一些总结，比如一个很简单的总结是，我们把生物体、机器从层次化的角度做了一些分层的结构，真正以后做这些系统，像编程一样，生物体端可以直接调用机器这边不同的功能，机器的地方也可以直接调用生物端的功能，这样把这些系统就变成可编程、可构建的，目的是更加方便、快速构建它。
我们再从信息回路观察，我们最关心的是信息流大概是怎么样的，哪些手段可以把刚才生物的跟机器能够连在一起。现在从技术手段看，其实生物或者包括我们交叉的领域有很多进展，这些可能对做生物的人非常熟悉了，比如光遗传学。这些手段可调控神经网络的功能，神经可以被外部信息激活。可以看到，现在有很多技术就是可以把脑机连在一起，信息回路就形成了，信息不但可以从生物体出来，也可以再回到生物体去。
下面简单给大家介绍几个我们做的东西。一是大鼠，这几年我们课题组做了很多关于大鼠的工作，大概将近十年了。这里有个简单的例子，我们三年前做的，这个例子是大鼠头部装有一个微型摄像头，摄像头采集的视频，可以用计算机视觉的方法分析它。比如它看到了一个熟悉的人还是看到了陌生人、看到了人还是其他东西都可以分析，在这个例子里是它看到了人，大鼠就会朝着人走过去，也就是它会寻找人，人在哪里就会跟着人走。同时，如果看到路口有不同的方向箭头，摆着箭头大鼠就乖乖跟着箭头方向走，这个系统完全没有人控制，视觉识别出来以后再反馈给大脑，控制它的行为，左转箭头它就会左转，右转箭头就会右转。通过大鼠的行为调控再加上计算机视觉的能力，增强大鼠本身对物体认知的能力。
除了视觉以外还有听觉，我们就不展示了。最主要是把信号反馈给大鼠的，也可以把大鼠感觉信息做一个传感器，比如大鼠可以感知紫外信息，但人一般是感觉不到的，我们通过对大鼠的初级视觉皮层V1信息提取出来之后解码它。这里我们不看了。
我们更往上就是做脑机的决策融合，这里这个例子是让大鼠走迷宫，怎么样让它走的更快？大鼠自己的探索能力再加上计算的角度判断，哪些路径它走过了。这个信息怎么反馈给大鼠？就是通过植入式方式反馈给大鼠相关的皮层中，让它不用再走这里了，然后它可以通过自身的探索能力、对空间的定位能力探索新的地方，非常有意思。
这里讲的例子其实是机器的智能跟生物本身的智能可以融合起来，这样机器与生物可以相互帮助做一些事情。
还有一个例子，其实我们记忆的好坏在记东西之前神经信号已经有所反映，我们就可以做一些算法判断。在学习过程，比如背单词或者小孩子学生词时到底记忆得好还是不好？。不好的话可能再让它记几次，或者可能太累让他玩点游戏再记，就可以做个性化的教育辅助。从这个图，可以非常明显看出来，那些单词如果记住和不记住，它的脑电累加效应差异非常明显。
更加难一点，脑里面不同的脑区它们之间的关系。其实前面宋森老师也介绍了几个例子，我们怎么样建模它，包括尧教授提了，我们调控它。我们最近做了一个简单的工作，对猕猴的PMd和M1脑区进行关系建模与预测。这是一些结果，蓝线是我们预测出来的结果。如果有两个脑区之间通路断了是不是可以通过建模的方式进行修补？有了这些东西以后还可以用硬件做芯片建模实现，以后是不是芯片可以植入到生物体中？这是我们以前做的芯片，目前是希望能够对神经处理做建模预测。
用这个芯片目前对植入还没有做，现在做了脑电解码，也就是我们常见的脑电运动想象意念控制，脑电波出来之后通过芯片进行信号解码，再反馈到电脑控制篮球的运动。这里做了很简单的演示，白球是目标地方，意念控制篮球左右移动。
最后一个例子是临床病人意念控制。通过手术从大脑内部采集ECoG神经信号进行解码。本实验中，石头剪刀布这三个手势，是通过ECoG神经信号识别出来的，然后去控制机械臂的运动，玩石头剪刀布的游戏。
我们最近在国内外都发表了总结性的论文。还有一些媒体报道、封面文章。媒体比较感兴趣，去年中央电视台的《挑战不可能》栏目组还邀请我们团队做人意念控制大鼠行为的节目，当时做的非常不错，视频网上都有，感兴趣的老师与同学可以到网上搜索查看。
（本报告根据速记整理）
