2. 对数高斯分布的大脑连接强度
什么叫对数高斯分布？如果把这个分布取个对数就是高斯分布。它的尾巴没有刚才说的幂律分布长，但这种现象也很常见，为什么？有个很简单的原因，大家知道根据大数原则，如果把很多数加起来是个高斯分布，把很多数乘起来的方式就出现了一个对数高斯分布。
Buzsaki一个非常有名的神经科学家，2014年发过一篇文章。他发现这个分布好像是大脑中非常常见的各处都出现的分布。我当年最先开始引入这个分布到神经科学，是说兴奋性神经元间连接的强度出现长尾分布，后来发现在抑制性神经元上也有这样的分布。
Buzsaki发现皮层神经元发放率也呈长尾分布，为什么会形成这种分布，仍然不是完全清楚。
大家看到大脑中存在一些很多长尾分布，但是机制还是不清楚，这是值得大家注意的大脑特性。.
下面介绍另一个话题。神经科学最近发展很快的领域就是大脑的连接结构，这个刚才尧教授谈到了。这是连接组这个词的发明人Olaf Sporns 2016年写的一篇文章，他提到根据现在已知的连接组学数据，可以得出两个非常重要的原则：①它们都具备有一定的紧凑性；②在局部之间通常有很强的长程连接。我们想这个有什么好处？首先，局部的紧凑性可以减少布线的长度，像人的社会里也是有这样的组织，现在国家建特色小镇，把有特色的人放在一个地方，他们联系起来就方便。第二，如果全是孤立的小镇，小镇之间联系就不方便了，所以要建高速公路。现在看来包括我们大脑网络里的很多网络所谓复杂网络都采取这种结构。
我想分这两个方面简单介绍一下神经科学的进展，这也是先从局部神经网络说起，也是我2005年那篇文章里的工作，我们从4个神经元里研究它们的连接强度。我们发现，如果4个神经元的小组分成几个2个或者3个的小组，发现2个神经元小组中两者互相连接的概率比随机网络大；3个神经元小组中和随机相比出现概率最异常的小组是三三相连的，这是它最重要的特性；4个神经元是很小的数据了，扩展到十几个神经元数据上也发现一样的规律，确实是很紧密连成一团的神经元。
这有什么功能上的意义？汤姆做了一系列的工作，在Nature Science上发了六七篇文章说这个问题。他用什么方法？他通过成像能够直接看到每个神经元功能特性是什么，然后通过切片的方法研究有这些特性神经元之间的连接功能是什么。他通过这个发现了一个规律，也比较好理解，连接比较强的神经元它们的功能特性差不多，有点像我们举的特色小镇的例子，它们想干的事情差不多，所以它们互相相连。
这是我想讲的最近学生做的工作，到底神经元网络的特性能不能通过深度学习来开始理解，所以我们也做了一个简单的例子。最简单的深度学习模型是没有反馈连接，而大脑中反馈连接很多，一个问题大脑中反馈连接到底是干什么的？我是指同层之间的反馈连接。我们的工作很简单，相当于用一个类似于深度学习的结构，但是在同层之间引入反馈连接。为了更加贴近生物和简化问题，引入了column的概念，因为我们知道生物里是有column结构的，每个column都差不多。这样模型训练可以更容易一点。
数据集也比较简单，只是简单的图像分类数据集。也采取了BP算法进行训练，我们看结果是怎么样的。首先看在第一层上会出现什么神经元，会出现很多把它叫做simple neurons和comlplex neurons，这个如果粗看跟猴子的结构比较类似。
首先我们看模型出来的结果是不是跟实验结果对得上？简单说最右边的那块好像对得上，这是我们训练了很久后的结果，确实是出现了双双连接和三三连接的比较多。
同样我们也可以得到另外的现象，在column内部一致的神经元连接会更强，不一致的更弱一些。在column之间的连接也有一定的规律性，那些共线性的神经元连接更强一些，也就是说feedforward是这个方向的，recurrent连接也是这个方向。
折腾了半天，最后结果是什么？好像很奇怪，最简单的结果如果根据学习，反馈连接起一个线性放大的作用，同时起到collinear faclitation，说明初级神经皮层上面有些现象可以与CNN对应起来。
这是我们最近合作完成的一个工作，钱卓老师很早以前提出层级编码的模型，可能在层级中占有更高的地位，所以编码是广泛的概念。最近一个结果发现比较有意思的，层级编码对应2/3层和5/6层在大脑中不同的功能，2/3层神经元大部分只对一种刺激感兴趣，刚才说的概念细胞比较少，在5/6层这个又比较多。我们可以看到以后也许有办法把这个概念推广出来，成为我们皮层的一个编码方式，这是比较有意思的。举个简单的例子，现在在深度学习的语言处理工作上，基本上采用LSTM，是一种线性的记忆，包括Google最近很热门neural turning machine的，也是线性的记忆，大脑采取的这种层级编码方式很多时候都是可以用上，这是深度学习和神经科学可以对话的地方。
关于记忆最近还有一个很有意思的结果，这篇文章发现在海马里面，从前额叶的投射可以帮助提取海马里的记忆。但是在提取记忆过程中是海马一些特殊的神经元先发放，再造成其他神经元的发放，海马中的枢纽节点神经元可能以一种类似指针的方式能够帮助提取储存在海马里面的记忆。还有一个比较有意思的结果，把枢纽神经元和脑电波对应起来了，不同大脑区域里面确实存在两类神经元，一类是刚才讲的编码的普遍信息的神经元；另外一个我们认为是枢纽的节点神经元，它们跟很多神经元都有连接，处在局部网络节点位置上。但他们发现有点像尧老师说的，这些节点神经元互相连接的可能性更大；更有意思的是它们的发放是同步的，正好跟低频道脑电波是一致的，这些节点神经元会跟随低频道脑电波同步发放，另外一个网络却不会。这个让我们对大脑的构造原理更明白了一点，有点像高速公路的理念，长程的连接把各个脑协同起来，这些节点神经元再调用具体的神经元。
（本报告根据速记整理）
