如何让深度学习突破数据瓶颈?这家创业公司直接挑战生物神经元的计算模型-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

如何让深度学习突破数据瓶颈?这家创业公司直接挑战生物神经元的计算模型

简介: Demiurge Technologies 是一家位于瑞士的人工智能创业公司,他们致力于研究生物神经元的计算原理,开发下一代深度学习,以解决小样本学习和与物理世界交互的难题。他们的深度学习系统将应用于第四级别自动驾驶和探索机器人等领域。与大部分人工智能公司不同的是,Demiurge Technologies 希望从根源解决目前深度学习存在的问题,面对这样一个不论在神经科学领域,还是人工智能领域都同样重要的问题,他们的勇气、方法和视野都令人尊敬。也希望 Demiurge 的创业思路和运作模式能够给从业者带来灵感和启发。
+关注继续查看

前言


瑞士,有着覆盖国土面积 60% 的阿尔卑斯山脉和超过 1,500 个湖泊,玛丽·雪莱所著的西方文学史上首部科幻小说《弗兰肯斯坦》就诞生于日内瓦湖畔,它讲述了一位天才科学家从零到一创造出智能生命体的故事,成为此后 200 年间讨论人类与机器、生命与智能的哲学模板。


Demiurge Technologies 也是一家希望从生命中获得线索并以此来开发通用人工智能的创业公司,位于瑞士一个依山傍湖的小镇——静谧但充满力量。


公司的办公地点高度保密,从不接受无关访客,即便是新员工面试也会先安排在其他地方,在正式录用后才会被邀请来公司。


「公司的物理空间是精心打造的文化载体,我们利用环境甄别对的人,依靠对的人进一步强化环境的凝聚力。」Demiurge 联合创始人兼 CEO 刘思宜(Idonae Lovetrue)表示。从这个看似有些神秘的规定中足以看出一种他们对实现通用智能所需人才和文化的独到视角及判断标准,令人心生敬畏,以至于在去公司的路上我忍不住问她「我要不要带个头套?」


公司院落的历史要远远超过人工智能的历史,除了 Xbox 等科技公司里常见的娱乐设备之外,他们的员工还有一项令人羡慕的放松方式——经过后院一个 100 英尺长的木码头去湖里划船,Idonae 说:「我们鼓励大家在湖中思考和放松。这里如同梭罗笔下的瓦尔登湖,我们切身感悟亲近自然,必然会汲取沉静的力量,发现更本质的自然规律。」


Demiurge 可能拥有全世界最美的办公地点,像极了托尔金笔下描绘的霍比特人的家园。Idonae 坚定的认为「我们就是一群霍比特人,以无畏严谨的脚步去追逐梦想(实现通用人工智能)。」



基于生物神经元的下一代深度学习


「虽然目前的深度学习在语音识别和图像识别方面取得了突破性进步,但如果把深度学习用于绝大多数的其他领域,比如说自动驾驶、实体机器人等,就会面临一个来自于真实世界的非常大的挑战,那就是训练数据量严重不足。」Demiurge 联合创始人、CTO 任志攀(Bragi Lovetrue)表示。 


297E9B29-6056-420F-98BA-9F502C3AB7DA.jpeg

人工智能不同应用场景的数据需求和数据供给对比,图片来源 Demiurge Technologies


拿开发消费级别的全自动驾驶来说,最大挑战在于要开发出在交通事故的预判和预防上远超人类驾驶员的软件。


如果用现有的深度学习去实现这一点,那就需要大量的事故数据,但这方面的数据供给非常有限,而采集数据又难度很大。首先,没有人能够准确预测何时何地会发生何种事故,因此无法系统地提前部署以采集真实事故数据;其次,从法律上来说我们不能靠人为制造事故来采集数据;第三,也无法模拟数据,因为事故更多涉及实时的传感以及与物理世界的互动,模拟出来的数据与真实数据差距很大,这从 DARPA 机器人挑战赛就能看出来;最后,像 AlphaGo 那样,在规则定义明确的简单环境下自行创造大量训练数据的方式,在复杂的真实环境中难以发挥作用。


如果遇到数据量不足的情况,同时又很难通过之前那些行之有效的方式去增加数据供给,那就无法发挥出深度学习的优势。而更重要的是,我们还会遇到数据类型不一样的问题,物理世界中是不同传感器获取的实时数据流,而现在深度学习在信息世界中的应用,比如说图像识别,使用的数据都是基于图片的数据点,而非数据流,所以这也是将深度学习现有的成功延伸到真实物理世界应用的一个底层障碍。


基于这个原因,Demiurge 专注于开发一种系统方法从源头解决真实世界诸多领域中数据量严重不足的问题——既然很难有效增加数据供给,为何不设法大幅降低对数据的需求?


降低对数据量的需求、实现小样本学习甚至 one-shot learning,是目前深度学习研究中的关键问题,Yann LeCunYoshua Bengio 等深度学习专家也多次在演讲中提到解决深度学习中 one-shot learning 问题的重要性。


在今年斯德哥尔摩的全球机器人顶级学术会议 ICRA 上,Bragi 在 Industry Forum 演讲中介绍了 Demiurge 的方法,从神经科学里寻找关键线索,「比起深度学习的点神经元,生物神经元所擅长的是从多模的实时数据流中提取多维度的时空信息来实现 one-shot learning,这是现有的深度学习很难做到的。生物神经元不仅能够做这种特征提取,而且是以一种非常高效的方式,效果和效率都很出色。


深度神经网络的确从神经科学领域的研究中获取了一些灵感,但其工作原理与人脑截然不同(诚然,我们对大脑的工作原理还没有弄清楚),Yann LeCun 表示,他最不喜欢的对深度学习的定义就是「它像我们的大脑」,谷歌 Jeff Dean 认为深度神经网络是对大脑神经网络的简单抽象,并非是模拟人类神经元如何工作。神经科学专注的点包括计算的细节实现,还有对神经编码以及神经回路的研究。然而,在机器学习领域,人工神经网络则倾向于避免出现这些,而是往往使用简单和相对统一的初始结构,以支持成本函数(cost funcion)的蛮力最优化。


Bragi 从历史的角度分析了深度学习和神经科学的关系,「现在的深度学习从神经科学中获得的灵感非常有限,这是因为深度学习的理论基础是上世纪 80 年代基本定型的,那时之前的神经科学也发展比较慢,无法为深度学习提供更多灵感。而从 80 年代至今,神经科学的发展速度远远超过了之前,过去 30 年产生的神经科学知识是 80 年代以前的 46 倍,而且现在每年神经科学获得新发现的速度是 80 年代以前的 100 倍。所以,对于深度学习来说,如今的神经科学已经是一个非常巨大的宝库,为提升现有深度学习的学习能力提供重要线索。」


Bragi 表示,越来越多的深度学习专家开始研究如何从神经科学中获取更多的线索,「 Yoshua Bengio 做的非常前沿,一方面研究深度学习的反向传播算法在生物神经元上是如何实现的,另一方面研究生物神经元的 STDP 学习算法如何提升现有的深度神经网络的学习能力 。位于深度学习与神经科学交汇的最前沿,我们很深刻地体会到现在正在发生着的转型,从深度学习和神经科学没有太大关系的这一代(深度学习1.0),过度到深度学习重新从神经科学获得重要启发的下一代(深度学习 2.0 )。」


D17E3BFC-49A4-4D6A-B9B4-78C6F1F07DAD.jpeg

深度学习 2.0 ,图片由来源 Demiurge Technologies

 

在近期谷歌 DeepMind 和 MIT 媒体实验室的合著论文《Towards an integration of deep learning and neuroscience》中提到,近期出现的结构化、成本函数和训练程度的复杂化这两项机器学习方面的进展或许会将神经科学和机器学习两个研究领域看似不同的视角连接起来。此外,硬件方面,IBM Zurich 在 8 月首次用低成本高性能的相变材料实现了生物神经元计算的关键机制——神经薄膜

 

更重要的是,面向物理世界的移动人工智能的各种应用需求(识别、避障、抓取等),与各类生物在物理环境的各种生存需求是高度吻合的。Bragi 表示,斯坦福大学人工智能实验室主任李飞飞教授就特别重视深度学习在机器人上的应用。


生物神经元,经过上亿年的演化,是自然找到的最优解决方案。对于 Demiurge 来说,理解生物神经元的计算模型是找到降低数据需求的通用算法,开发通用移动人工智能核心技术的关键。


这与其他解决数据量不足的思路有着本质不同。「比如说 UC Berkely 的 Pieter Abbeel 和 Google 的 Sergey Levine ,他们都是在用深度强化学习来开发基于自我监督学习(self-supervised learning)的通用算法,但这种自动的数据收集和标记本质上依然是增加数据供给。此外,NYU 的 Brenden Lake 等用贝叶斯程序学习的方法针对特定问题开发出专门的数学模型。虽然能够在特定任务中大幅降低了数据需求,实现了 one-shot learning , 但这不是通用方法,」Bragi 说,「实际应用中需要的是降低数据需求的通用方法,深度学习的通用性无疑是最佳的。对于深度学习来说,如果不从生物神经元原理入手的话,是很难解决这些问题的。」


Bragi 表示,目前深度神经网络与生物神经网络最本质的区别在于神经元的类型。目前深度神经网络用的是点神经元,其计算模型是把信号加权平均的结果输入到一个非线性函数。这种点神经元是对生物神经元的极度简化,没有基于时间的变量。而生物神经元则利用脉冲进行基于多维时空变量的计算。单个生物神经元的计算模型是神经科学领域的一个关键问题,而这个问题的答案正是设计下一代深度学习的关键线索。


Demiurge 就是完全专注在这个问题上,所做的结果也走在世界最前沿,「我们已经开发出了生物神经元的计算模型,现在正在非常严谨的对它进行测试。 」Bragi 说。


深度学习 2.0 ,图片由来源 Demiurge Technologies

 

在近期谷歌 DeepMind 和 MIT 媒体实验室的合著论文《Towards an integration of deep learning and neuroscience》中提到,近期出现的结构化、成本函数和训练程度的复杂化这两项机器学习方面的进展或许会将神经科学和机器学习两个研究领域看似不同的视角连接起来。此外,硬件方面,IBM Zurich 在 8 月首次用低成本高性能的相变材料实现了生物神经元计算的关键机制——神经薄膜

 

更重要的是,面向物理世界的移动人工智能的各种应用需求(识别、避障、抓取等),与各类生物在物理环境的各种生存需求是高度吻合的。Bragi 表示,斯坦福大学人工智能实验室主任李飞飞教授就特别重视深度学习在机器人上的应用。


生物神经元,经过上亿年的演化,是自然找到的最优解决方案。对于 Demiurge 来说,理解生物神经元的计算模型是找到降低数据需求的通用算法,开发通用移动人工智能核心技术的关键。


这与其他解决数据量不足的思路有着本质不同。「比如说 UC Berkely 的 Pieter Abbeel 和 Google 的 Sergey Levine ,他们都是在用深度强化学习来开发基于自我监督学习(self-supervised learning)的通用算法,但这种自动的数据收集和标记本质上依然是增加数据供给。此外,NYU 的 Brenden Lake 等用贝叶斯程序学习的方法针对特定问题开发出专门的数学模型。虽然能够在特定任务中大幅降低了数据需求,实现了 one-shot learning , 但这不是通用方法,」Bragi 说,「实际应用中需要的是降低数据需求的通用方法,深度学习的通用性无疑是最佳的。对于深度学习来说,如果不从生物神经元原理入手的话,是很难解决这些问题的。」


Bragi 表示,目前深度神经网络与生物神经网络最本质的区别在于神经元的类型。目前深度神经网络用的是点神经元,其计算模型是把信号加权平均的结果输入到一个非线性函数。这种点神经元是对生物神经元的极度简化,没有基于时间的变量。而生物神经元则利用脉冲进行基于多维时空变量的计算。单个生物神经元的计算模型是神经科学领域的一个关键问题,而这个问题的答案正是设计下一代深度学习的关键线索。


Demiurge 就是完全专注在这个问题上,所做的结果也走在世界最前沿,「我们已经开发出了生物神经元的计算模型,现在正在非常严谨的对它进行测试。 」Bragi 说。


2453ED5C-16F4-4FC8-AB5A-7CDF2640F605.jpeg

点神经元和脉冲神经元,图片来源 Demiurge Technologies

 

这个模型的关键在于理解脉冲如何以非常少量的计算步骤和能耗能够准确抓取极高维度的时空信息。


「没有基于脉冲的计算模型—仅仅像 IBM TrueNorth 那样,简单模仿一些生物神经元的硬件特点,或者像 Numenta 和 Vicarious 的 HTM(Hierarchical Temporal Memory)那样,简单借鉴一些生物神经元的软件特点—消费级别大脑芯片的硬件开发也就无从谈起。 对于实现生物神经元计算模型的软硬件要求的掌握,是 Demiurge 最重要的核心优势。」


这种计算模型的提出是多尺度跨领域研发的结果,不仅需要对跨领域的基础理论和前沿算法进行研究,还要从应用角度来分析真实世界的需求和需要满足的限制,来缩小算法搜索的空间。因为真实世界中有很多限制,比如说提供的数据量非常少,但为了应用成功或者让物种生存,就必须快速学习来了解整个环境,而在整个过程中又不能耗能太多。


生物智能给 Demiurge 提供了非常重要的线索,他们从跨物种的通用智能系统出发,理解要满足什么样的条件才能最大化它们的生存,这是从生存追问的一种智能系统设计的思路。不管设计出何种模型,都要满足这些限制。


目前深度学习领域从实验室结果到产品级应用的演化进程,对于真实世界的诸多限制一开始是尽量回避的,即首先选择那些可以不太涉及物理限制的简单场景,尽力实现在该场景下深度神经网络的最优化表现后,再开始逐条考虑开发应用时必须面对的各种物理限制。


「这种演化可能适合学术研究,但不适合产品研发。Demiurge 的研发从一开始就充分考虑真实世界应用的所有限制,开发出来的计算模型和大脑芯片能在真实世界的各种限制条件下完成出色稳定的应用表现。 」Idonae 进一步解释了这背后的决策依据。


由于采用了同时满足技术突破和应用表现的双重评估标准,Demiurge 的研发风格是极为大胆和严谨的。提出的计算模型首先要在从数学理论上完整论证,同时还要用神经科学最新的发现和数据去做验证。这部分数学理论与神经科学的验证之后, Demiurge 会开始软件的模拟和硬件的实施,最终把自动驾驶作为首个测试平台,通过实现第四级别的无人驾驶测试他们的大脑芯片产品在对交通事故的学习、预判和预防的表现。


Demiurge 虽然是从神经科学中寻找深度学习突破的密码,但他们所做的技术依然可以称之为深度学习,最终的产品形态也是利用深度神经网络,也利用很多的隐含层和反向传播算法,只不过是将深度神经网络中的点神经元替换成了脉冲神经元,是计算单元的区别,在整个计算架构上区别很少。


因此,可以在充分利用了生物神经元优势的情况下同时还继承了这代深度学习的所有优势,比如说具有通用性,以及从训练的角度上是 model-free ,这依然是一个以数据和经验来驱动的过程。


Bragi 说:「我们和 DeepMind 、OpenAI 等最大的区别是,我们很清楚脉冲神经网络在感知数据流计算上的巨大优势,并知道如何从软件上和硬件上实现它。对这一代深度学习来说,正如 Google 资深研究员 Greg Corrado 在 Brain Forum 上所说,他们尚不清楚如何利用脉冲进行计算,在算法层面和应用层面发挥脉冲的优势  。我们与 IBM 区别是,IBM 的最新突破用 GST 相变材料首次完整第实现了单一神经薄膜,这是基于对生物神经元物理性质的深入理解与再现,但要开发应用于物理世界的大脑芯片, 仅靠复制生物神经元的物理性质是不够的,根本上仍然需要对生物神经元计算原理的掌握,后者是 Demiurge 的核心优势。」



游戏规则制定者


理解生物神经元的脉冲计算原理,是神经科学领域的世界级难题,同时对人工智能界的下一次突破也意义重大,面对这样一个不论是从科研还是从应用上都将带来巨大价值的命题,Demiurge 作为一个资源有限的创业公司是如何做到的?


「不应该是艾伦实验室、索尔科研究所、HBP 等世界级脑科学研究机构,或者谷歌、Facebook 等科技巨头才有动力和能力去解决这样一个世界难题吗?」我非常直接的向 Bragi 询问。


「就像阿基米德那个用杠杆去撬动地球的比喻,对于撬动这个世界级难题来说(理解生物神经元的脉冲计算原理),有很多不同支点(探索方法)可供选择。比如说各国脑计划的研究重点主要集中在提高探测设备和研究手段,使得我们能够尽可能收集从局部到全部、从单个时间点到更大时间尺度上的尽可能多的关于神经元的数据,他们大多是从收集数据的角度来努力。」


「艾伦研究所在这方面做了很多贡献,不仅提供了系统化数据收集的标准和数据收集的设备,同时还把收集上来的数据加以整理并免费开放,他们的思路是,更多的数据可能会帮助我们最终解决算法的问题,这是大数据驱动的对算法的理解。而欧盟脑计划(HBP)的思路不一样,他们认为,即便是收集足够多的数据,但缺少模拟的过程,对数据的利用效率也不够高,所以他们特别强调建立一个全尺度、高精度的虚拟大脑,这样就能保证在虚拟大脑里重现已经观察到的大脑的现象和特征,从而让我们更加准确的提出测试各类神经元的计算模型,这也是从蓝脑计划到欧盟人脑计划的一个重点。」Bragi 说。


Idonae 补充到:「以上这些研究更多的是提供了基础设施,支点都离问题比较远,而不是直接去解决这个问题。而 Demiurge 选择了最近的支点(完全专注于单个生物神经元),并打造出了最长的杠杆(提出了通用的脉冲计算模型),所以能够以有限的资源撬动无限的潜力。」。


她认为「下一代深度学习是一个底层应用问题,不是一个表层应用问题。底层问题则需要对多领域深入的理解和灵感来寻求突破,还需要对应用核心痛点的深入理解,所以预测和管理更具挑战性。而表层问题可以用循序渐进改良的方式推动,产出和时间相对容易预测。在学术界和大企业机构,相关评审机制的设计和运作有利于解决表层应用问题,但对解决底层应用问题的机制缺乏动力和经验。因此在解决底层应用问题上,Demiurge 量身打造的文化制度和评审机制就会显示出独特的优势。」


FF61259B-F3A1-4339-B6B8-6C073F627106.jpeg

Demiurge 联合创始人、CEO Idonae Lovetrue 在 TEDx Hochschule Luzern 演讲,图片来源 Demiurge Technologies

 

在此前的 TED 演讲上,Idonae 也提到了 Demiurge 相对于科技巨头的优势,「大企业显然有多种优势:充足的资源、雄厚的财力和强大的网路,但开发应用于物理世界的人工智能最重要的事情是生存本能,但这与大企业的属性相悖,企业一旦做大,保持其生存本能就会极其困难。但生存却是创业的一切,并且它在每个人的血管中流淌,我何时何地都能感受到它。」


「所以,Demiurge 为自己创造了一个非常独特的位置,掌握了一个从科学的利益和动力、产品的利益和动力的完美契合点,」Bragi 表示,「单个神经元计算模型这个问题既是从深度学习应用需求来说必须要解决的根本问题,同时也是神经科学领域一个诺贝尔奖级别的问题。比起学术界,Demiurge 离应用最近,可以获得一些额外的关键启发和应用场景下的限制条件, 更有能力去做这个事情。比起工业界,Demiurge 离科学最近,能够非常专注地去彻底解决应用的底层问题,更有定力去完成这个事情。」


而恰恰是因为 Demiurge 所坚持的这个目标也是神经科学家一直以来的终极目标,所以神经科学领域的顶尖机构和专家非常支持他们,为他们提供研究成果、数据和人才。所以从这方面来说,Demiurge 和神经科学领域的大机构是一种合作关系,而非直接的竞争关系,而这种合作关系也是平等的优势互补,这些科学家不是在通常情况下的单方面付出,而是可以获得反馈。


我们就像魔戒远征队,而那些在神经科学领域已走得最远的专家就像是精灵族的长老,用他们的的知识和智慧来帮助我们。」Idonae 说。


今年 5 月份举办的世界顶级神经科学会议 Brain Forum 也邀请了 Demiurge ,他们的展台就在神经科学巨无霸项目「欧盟人脑计划(HBP)」的旁边,Brain Forum CEO Jamil El-Imad 对 Demiurge 赞赏有加,他在大会开始前的媒体见面上唯一介绍的一家创业公司就是 Demiurge ,「在所有的创业公司中,Demiurge 的视野(vision)与我内心所想最为接近。」Jamil 在私下交流时说到。


就连不可一世的欧盟人脑计划和瑞士蓝脑计划的负责人、全球顶级神经学家 Henry Markram 也在一直积极且慷慨为 Demiurge 提供支持——将他了解的科学家与他的学生介绍给 Demiurge 。


8FC02FA7-1936-4F04-B891-9CB87F166706.jpeg

Brain Forum 会场,欧洲脑计划(HBP)发起人 Henry Markram 和 Idan Segev与 Demiurge 创始人 Idonae 和 Bragi 交流,图片来源 Demiurge Technologies


在这次远征中守护他们前行的不仅有科学家,还有投资人,Demiurge 目前完成了两轮投资,投资人包括对技术有着极强前瞻性的投资机构和知名企业家。Idonae 说:「深度学习是一个生态系统,不仅跨越了很多应用,还突破了传统应用和研发之间的壁垒,我们需要很多背景去了解和应对这个全新的生态系统,投资人的经验和视野在这方面可以给我们很多帮助。」


各类人才的汇集让 Idonae 充满信心,「我们只要坚持走在解决这个问题的路径上,最适合的人会一个一个陆续登场,而每个人都必然是在相关领域深耕良久,因为只有有了很深的积累之后才有足够的眼光看到我们解决这个问题的必然性。」


而对于 Demiurge 来说,他们不仅希望自己创造的这套新的游戏规则能够帮助他们解决具体问题,还希望这个规则本身可以为后来者提供一种史无前例的参照。


「我们在创造一个先例,从来没有人说过创业公司不可以通过解决一个诺贝尔奖级别的问题来直接开发出堪比互联网基础的人工智能技术,只不过是很少有人有勇气做这方面尝试,而我们非常清楚我们的目标是什么,我们存在的意义是什么。我们希望自己是启发性的,也可以让后面的人有一个新的参考体系。」Idonae 表示。


「为什么是我们?我们对现有的游戏规则很了解,并且非常清楚做到什么程度才算是真正的成功,」Idonae说,「通用人工智能的成功标准,高于在 ImageNet 竞赛中取得高分,高于实现完全的自动驾驶,而是能够实现人人可居的智慧城市,人人可获益的地外探索。」



自动驾驶


Demiurge 基于生物神经元计算模型所提出的下一代深度学习及相关的软硬件平台, 可以做到高性能、低成本的解决小样本学习和自适应学习等人工智能在真实世界中所面临的诸多问题。从目前来看,这项技术最直接、也是最有市场需求的应用就是自动驾驶。


Bragi 和 Idonae 五月份的行程非常密集,他们需要去瑞士中部的卢塞恩进行 TED 演讲,然后当天赶到西南部城市洛桑参加 Brain Froum ,会议结束后再返回公司。Bragi 驾驶着一辆 Model S 在四天里行驶了超过 800 英里,沿途再美的风景也会屈服于驾驶员的时间成本和精力消耗,这也是所有人期待自动驾驶早日实现并积极参与其中的原因。


从 20 世纪 80 年代卡耐基梅隆大学的 Navlab 计划,到谷歌自动驾驶项目,再到如今所有相关公司的强势布局,众多参与者都走在追求这个终极目标的路上,每个参与者都会基于自己的优势规划发展路径,神秘的自动驾驶创业公司 Drive.ai 就完全押宝于深度学习,将深度学习应用于全自动集成驾驶堆栈,改变用规则去应对各种场景,让汽车完全自行通过理解数据去学习。


而 Demiurge 的方案不是循序渐进,而是从自动驾驶场景下的小样本学习和与真实物理世界交互的两大限制出发,用生物神经元的计算模型从根源上解决这个问题。


「比如说蝗虫,它们的翅膀非常孱弱,任何撞击对它们来说都是非常致命的,但它们在高速飞行中有着几乎完美的自动避障能力,这背后的机制如果用在自动驾驶汽车上,将会实现第四级别的自动驾驶。最令人吃惊的是,蝗虫的自动避障系统只用了两个生物神经元,一个用来探测障碍,一个用来执行避障的行为,这说明生物神经元在处理物理世界的任务时,从小数据和数据流中的学习和决策能力非常出色,这对我们降低数据需求提供了重要线索。」Bragi 说。 


660DFD06-859E-4783-9835-CB9E96C281EA.jpeg

基于深度学习的自动驾驶和蝗虫自动避障的对比,图片来源 Demiurge Technologies


在产品方面,软件依然是第一位,但如果现有的自动驾驶平台无法与他们的软件相适应时,Demiurge 也会重新设计硬件,「我们要设计的深度学习芯片也是基于脉冲神经元,所以从硬件实施上也与现在的硬件有所不同」,但 Bragi 没有透露更多具体细节,「这两种方法都是可能的,至于选择哪一种,则是看工程上的需要。」


在众多自动驾驶领域的参与者中,Demiurge 认为公司最大的潜在竞争对手是特斯拉。特斯拉在去年 10 月通过软件升级增加了辅助驾驶功能,这个功能在研发时使用了特斯拉车主过去 18 个月积累的 7.8 亿英里行驶数据。在该功能上线后的短短六个月内就积累了 4,700 万英里数据,远远超过谷歌历时 6 年积累的 150 万英里,而近期特斯拉的这个数据已经增加到 1 亿英里。


Demiurge 把特斯拉视为头号竞争对手的原因在于,目前只有特斯拉充分认识到现有深度学习对于数据需求量过大的底层问题,并且后者正在用不同方式来逼近这个目标。


Bragi 说:「特斯拉在收集数据上有着垄断性的巨大优势,所以能够利用现有深度学习做自动驾驶,在与大多数同行竞争中已然遥遥领先。但特斯拉并没有满足这一状态,Elon Musk 同时通过成立 Open AI 在本质上寻求能够实现第四级别自动驾驶的下一代的深度学习算法,完全超越竞争,这和 Demiurge 的思路是一样的。」



宏大目标下的生存追问


与 Demiurge 的两位创始人交流其实是一件压力很大的事情,不管他们在介绍 Demiurge ,讨论人工智能行业,还是随意的聊天,我都需要努力让自己的思维保持活跃,以跟上他们的谈话节奏和思维逻辑。他们有一种独特的谈话方式,总是会抽茧剥丝般的从现象聊到本质,并会将不同事物联系起来推理出通用的规律并进行演绎,既可以自下而上的将具体抽象成理论,也可以自上而下的将理论落实到具体事物或者一个形象的比喻上。


在深入了解他们的创业理念后,才发现他们的所有行为,小到一个聊天的话题,大的公司的研究方向,都可以用一种独特的气质支撑起来。


而这种独特的气质就是被他们视为竞争对手的特斯拉创始人伊隆·马斯克的「秘密武器」——第一性原理,马斯克自己对此的解读是:我认为,人们的思维过程通常都束缚在常规或类似的经历中。很少会试着在第一原则的基础上考虑某些事。他们习惯说:「因为我们以前那样做过,所以我们会这样做。」或者,他们不做这事是因为「好吧,之前没人做过,所以情况肯定不太妙。」但是,这是一种荒谬的思维方式。你必须从头开始推理,你注视着那些基本条件,然后从中建构你的推理,之后你可以看看是否得出一个有效或是无效的结论——可能会和人们以往的结论相同,也可能不同。


将这种思维落实到行为上,便是基于问题的根源来设定目标,并保证之后做出的所有行为都与这个终极目标息息相关,并是以一种效用最大的方式去实施。


1)基于核心问题提出目标


Bragi 意识到现有深度学习无法解决小样本学习和与物理世界实时交互的问题,而这恰恰是生物神经元所擅长的,所以他就直接去研究生物神经元的计算模型,以创造下一代深度学习并付诸实用。相信很多人工智能领域的从业者都可以发现目前深度学习的问题,也经常有人表示需要让机器像人类一样学习,但很少有人、尤其是创业公司会把这个问题作为自己专注的研发目标,更多的是去选择一些权宜之计。但对于 Demiurge 来说,他们不仅理性的发现了这个问题,同时又有着足够的勇气去挑战它,而从来不会考虑此前是否有创业公司这样做过


Demiurge 会让人不自觉的想到另外一家如日中天的人工智能创业公司 DeepMind ,都是学术与应用相结合,都是专注于通用人工智能,且创始人都有着神经科学和人工智能的复合背景。


当被问到和 DeepMind 的异同时,Bragi 表示:「被谷歌收购之前的 DeepMind 和我们很像,我认为他们接受被谷歌收购是『the best scenario of failture for DeepMind(最好的失败)』,因为如果他们率先解决了通用人工智能这个问题,那么谷歌被 DeepMind 收购将会是『the best scenario of failture for Google』 。我不知道他们是在研究了三四年之后遇到了瓶颈,还是说一直把这个(被收购)当成备选方案。」


当被问到谷歌所提供的数据和资源支持是否会成为 DeepMind 的竞争优势时,Bragi 依然是从目标出发给予了否定,「我们看的非常清楚,解决物理世界的问题,大数据不是一个帮助,而是一个掣肘,想要利用谷歌的资源和数据优势,我们认为是没有真正理解解决这个问题的方法。」


「我判断的标准是一个公司是否把最核心的资源、人和时间放在最关键的问题上, DeepMind 被谷歌收购前是这样,但现在有点不一样了。」Bragi 非常坚定地认为,「比如说 AlphaGo ,它很好,但不是我们想要的」。


Demiurge 创始人表示,他们只想去解决一个问题:让人工智能不再只是成为谈资,也不是炫目的展示,而是让大家在生活中能够获得便利和切实的好处,或者通过平价地外探索去获得人类文明新维度的可能性,这个是他们投身人工智能的目标,他们只想达到这一个目标。


2)围绕目标的生存法则


Idonae 认为,Demiurge 看到了一个人工智能应用的关键问题,并拥有对这个问题的兴趣以及解决这个问题的决心。所以确定了这个目标之后,Demiurge 的每一个动作都极其严苛的围绕它去实施,而不在乎常规做法是什么,以及通行的游戏规则是怎样。


「和生物一样,我们所做的事情也是生存驱动的,」Idonae 说,「我们这个旅程就是要抵达终点,我们要知道每一天如何更逼近自己的目标,并以一种能耗最低的方式往前跑。如果在这个过程的每一步都要符合主流的预期,做一个好的表现者,同时又要以最快的速度抵达终点,那这个预期本身就是矛盾、不切实际的 。有人擅长把每一步都做的漂亮,每一步都有掌声,这是一种做法,但这不是我们擅长的做法;我们不在乎这一过程的孤寂,只在乎是否抵达真正的终点, 所以,我们或许只会攒到一次掌声,那就是当绝大多数人都因这项基础技术而受益时为我们的产品而鼓掌。」


这种状态 从Demiurge 创立之前就已经体现了出来,Bragi 在纽约大学读本科时,为了弄清楚如何实现通用人工智能,他就向学校申请自主设计了一个全新的本科专业——覆盖计算机科学、人工智能、神经科学、物理学和哲学,设计并完成了大量的博士级别的研究课题。后来在计算机名校卡耐基梅隆读研期间,他也没有按照大多数人的通行研究路径选择继续读博。


「先弄清楚到底怎么样做才能实现通用人工智能,然后从解决这个问题来追问所有的决策,而不是说会做任何形式上的妥协。这个是我们每做一次看似不寻常的选择时背后的逻辑,其实就是对问题本身的探求和理解。」Bragi 解释到。


Demiurge 还做了一件在大众看来不太寻常的事情。今年 3 月,谷歌计划出售机器人公司波士顿动力,Demiurge 立即在自己的 Medium 主页发布官方声明,表示希望收购波士顿动力公司,将波士顿动力公司的相关技术整合到基于 Demiurge 深度神经网络的新一代机器人操作系统中。


采访期间,谷歌宣布将波士顿动力出售给丰田。「卖给丰田是波士顿团队第二好的选择(注:Bragi 认为,最好的选择是被 Demiurge 收购),波士顿动力本身含有不同声音,有人坚持基于控制论的模型设计,但面对复杂的人与外部真实环境的交互,开发模型是极其困难的。有人相信深度学习能够模拟任意函数的建模优势,但是用深度学习进行端对端建模, 需要远超谷歌能力的海量的传感和控制数据 。他们所面临的最核心的难题恰恰是我们可以为他们解决的,就是与真实物理世界交互的深度学习系统。」Bragi 说到。


虽然交易未能达成,而 Demiurge 作为一个初期创业公司所发出的这个声明也没有得到大范围的媒体关注,但这件看起有些不可思议的事情恰恰体现出 Demiurge 的理念。


公司把这个作为唯一标准来筛选人才、投资人,甚至是公司的地理位置。在一年多前的一个内部讨论会上,当 Idonae 提到要把公司设在瑞士时,在场的所有投资人和专家都表示很难理解。当今天再回顾这个问题时,现实的回报让 Demiurge 的创始人确信当初选择的明智,「公司的选址取决于你要做什么类型的创业,我们是要解决深度学习的核心挑战,同时也是脑科学的难题,解决这个问题之后还要将一系列技术产品化,把这些结合起来看,瑞士是最合适的。瑞士有着全球领先的神经科学和机器人技术,而且瑞士特别适合全球市场的高科技企业的成长与发展(比如罗氏、诺华以及 ABB )。而我们的技术应用是一个万亿级别的全球市场,在行业合作、产品和安全标准制定、甚至是国际间的多重合作方面,瑞士都有着稳固的优势。」


Idonae 还说「我们最看中的还是人与人的吸引,什么样的问题吸引什么样的人进来,而欧洲的人才池对我们这个问题最感兴趣,也是最了解及最能提供贡献的。同时,我们也看中瑞士的视野和地缘里的养分,瑞士尊崇着商业长久之道的本质,不鼓励通过对个人的崇拜转化为产品销售力,而是推崇用最好最可靠的产品品质赢得市场,与客户建立长久简单的供求关系。 在这方面,瑞士给了我们一个非常重要的参照环境,让我们体会到下一代深度学习产品应该怎么做」。


这种基于目标的生存追问成为 Demiurge 的文化基石,使他们做所有决策非常简单,因为这是他们唯一的标准。这个标准不仅帮助他们找到了最合适的办公场所,吸引到了最适合专家和团队,还让他们在前行的路上可以极度理性的看待争议和否定,摒除一切干扰因素。


在评论马斯克的第一原理时,Tim Urban 用了一个非常简洁的描述:「 Things I want → Want 」。Idonae 有着同样的理性和坚定:「我们就一个目标,很简单,就是要到达哪儿,一路上没有建设性的争议和否定不能给我任何食物和魔法帮助我去接近这个目标,所以我们会自动过滤。在这个路程上,我们就是不断选择、凝聚能理解我们理念,并能提供不可替代价值的人,我们不会去在乎其他。批评和讽刺的声音只有在看到产品,或者通过产品解决他们的需求时才会发生改变。我们是创业团队,我们要生存,所以我们会动用所有的资源放在解决这个问题上,这个问题解决了,产品本身就是答案。」


基于目标的生存追问让 Demiurge 敢于去解决一个世界难题,吸引到领域内顶级的科学家为他们提供支持,创造了第三种游戏规则,还组建了在每个环节上都拥有 1-2 名顶尖研究者的强大团队,包括数学家、神经科学家、机器人学家等。同时也形成了他们自己一套独特的管理方式——像特种部队一样用时间来激发最大潜力。


从科技史的发展来看,Bragi 认为科技的突破很难预测,因为之所以成为突破就因为与现有技术有着质的不同,而我们的预测又是基于对已知技术的理解, 所以预测本身是不可靠的。


面对公司目前在做的这样一项质变而非演变的技术,从内部管理来说,他们挑选出来的成员都是有着相同的生存本能——所有任务的期限,就是自己毫不妥协地完成任务所用的最短时间。


Idonae 说「就像是英国特种部队的野外徒步训练,教官不告诉特种兵任务的 deadline ,所以没有人知道 deadline 的具体时间,但都知道它的存在,所以每个人都会竭尽全力以最少的时间来完成任务,激发出最大的潜能。我们的团队成员都是这样,必须全力以赴,以最短的时间高质量的完成每一个任务。如果我们人为设置一些时间点,如果过短,就会迫使大家走一些错误的捷径,如果过长,反而会让人松懈自满。我们要一直处在寻求生存的状态下才能够最好地生存下去。」


Tim Urban 认为培养马斯克的思考方式有三个维度:1)对已知的事物保持谦逊;2)对可能实现的事物保持自信;2)对无关紧要的事物不存怯懦之心。 


与之类似, 如果将 Demiurge 理念进行拆解的话,就是他们印在公司 T 恤上的 5 个短语:仁爱的理性(empathetic rationality)、谨慎的无畏(prudent fearlessness)、有批判精神的信仰(skeptical faithfulness)、谦逊的灵魂(humble souls)、勇敢的思想(daring minds)。


Idonae 对此的解释是:「要心怀远大,但恰恰是因为非常理解目标的远大,所以才知道每一步所必要的谨小,既做到感情上的认同,又极其理性地去分析,因为靠一腔热血是走不远的;对目标极其坚定,但在前往目标的道路上时刻保持批判精神;有谦逊的灵魂才会接近客观地理解问题,理解一路上将要面对多少艰难险阻,而勇敢的思想是我们的生命之源,使我们能够自信认定地一步一步走下去。」


Demiurge 公司 T 恤上还有另外一个图案,是线虫、鱼、昆虫、狗和婴儿五种从低级到高级的生物,下面依次标注了各自的神经元数量。这些神经元凭借一种目前还不为我们所知晓的机制互相连接,让生物拥有在现实世界中生存下去的智能。


而 Demiurge 自身也是这样一个「神经元」,以实现智能为最终目标,同时以一种效率最高且目的性最强的方式做着每一次与外界的连接。生物神经元的计算模型 Demiurge 还在研究和测试,但 Demiurge 自身生存和成长的机制他们已经找到,正是这种机制将 Demiurge 的目标、研究、管理和合作等所有行为都完整地融合在了一起。使他们成为一个拥有智能的生命体更好地生存下去,并帮助他们创造出更多的「生命体」。


20 世纪伟大的物理学家埃尔温·薛定谔的著作 《What is Life》前言里有这样一段话:


「古往今来,从探索中发现普遍的真理是最有价值的。但是过去一百年中所积累的众多物理学领域的知识,其广度和深度,让我们对统一真理的探索面临如下挑战:一方面,我们已经开始掌握了能够将各个领域的知识融汇贯通的办法;另一方面,即便是对某一学科领域更加专业化的知识,如果想要彻底掌握它几乎又是不可能的事情。只有我们中的某些人,敢于冒着自己被看成是愚蠢之人的风险,去大胆地综合所有发现和理论,我们才有可能摆脱挑战,发现普遍真理。」


对于 Demiurge 乃至今天的人工智能领域来说,可能也是如此。



©本文由机器之心原创,转载请联系本公众号获得授权。













版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
自从学了这个方法,深度学习再也不愁没钱买数据集了
深度学习大牛吴恩达曾经说过:做AI研究就像造宇宙飞船,除了充足的燃料之外,强劲的引擎也是必不可少的。假如燃料不足,则飞船就无法进入预定轨道。而引擎不够强劲,飞船甚至不能升空。类比于AI,深度学习模型就好像引擎,海量的训练数据就好像燃料,这两者对于AI而言同样缺一不可。
1037 0
清华深度学习框架 Jittor 开源,创新元算子和统一计算图,推理速度可提升 10%-50%
清华深度学习框架 Jittor 开源,创新元算子和统一计算图,推理速度可提升 10%-50%
13 0
SAS学习笔记之《SAS编程与数据挖掘商业案例》(1)系统简介和编程基础
SAS学习笔记之《SAS编程与数据挖掘商业案例》(1)系统简介和编程基础 1. SAS系统简介 1.1 SAS是先编译后执行的语言,data步标志着编译的开始。 数据指针:当前内存缓存区,输入数据所在位置。 PDV:Program Data Vector,在DATA步中所有涉及的变量被编程当前向量的一部分。 2. SAS编程基础 2.1 SAS逻
1503 0
1574
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载