阿里NASA计划“亮剑”:谢崇进和他追求的科学极限

简介: NASA计划推出近一个月。阿里在科技领域到底做着怎样的技术布局?日前,阿里巴巴资深技术总监谢崇进在接受采访时,介绍了阿里在光通讯领域的研究和规划。从某种程度上来说,科技世界没有贵族,任何一项核心科技的突破,其燃料都是无数人质感坚硬的年华和奋斗。

NASA

NASA计划推出近一个月。阿里在科技领域到底做着怎样的技术布局?日前,阿里巴巴资深技术总监谢崇进在接受采访时,介绍了阿里在光通讯领域的研究和规划。

af5d780a7fd409528be2e1acfa7075ce046cdf5e

从某种程度上来说,科技世界没有贵族,任何一项核心科技的突破,其燃料都是无数人质感坚硬的年华和奋斗。这就是阿里巴巴祭出“NASA”震撼人心的地方。它试图推进人类知识的边疆。这其中包括机器学习、芯片、IoT、操作系统、生物识别等等。如果马云的狂想成真,以上任何一项的重大进展,都可以为中国添置一颗科技领域的“核武器”。实际上人们又很容易忽略,这些风头正劲的技术,几乎都坐落在一座巨大的技术根基之上。

这种技术就是“光通信网络"。乍一听枯燥艰深,但是只要稍加解释你就会明白。光通信网络实际就是我们所说的“互联网”的实体,那些把计算、存储连接起来的真实网络。你用手机拨打电话,或打开电脑浏览网页,发出的信息都会在光纤网络里奔涌。实际上,目前世界 95% 的信息都在通过“光通信网络连接”,它就像赛博世界的神经系统。

“光通信,不就是用光纤把两台机器连接起来吗?看上去易如反掌。”

64fccf09744da92ea04cbc309aabb60349b5e83e

如果你这样想,那么接下来出场的科学家会颠覆你的认知。他就是阿里巴巴资深技术总监谢崇进。

从烽火台到光通信

你可以想象任何一个计算机网络,就像一个大脑。神经的速度决定了你的反应速度,这种速度最终体就是:时间。谢崇进说。有一个浪漫的比喻:当年周幽王烽火戏诸侯,恐怕就是最早的光通信技术了。从技术上来说,烽火只能传递一个比特的信息,非0即1(有敌情和没敌情)。而且烽火传输信息的速度有些坑,这个错不在光,光永远以每秒30万公里的速度奔跑,问题在于用狼粪生火的过程比较麻烦。

a315cb5080ae004ac0bea3bce056f806aab3f32e

从此之后千年,人们一直没有发现有效率地利用光的方法。1831年法拉第鼓捣出发电机,制造出一种易于人为控制的电流。让人们更相信电这种东西比“野性难驯”的光要有效率。

即使后来人们发明了光纤,但仍有致命的问题:最初的光纤是玻璃材质,每米损耗1db。也就是说,每走十米信号强度就剩下了十分之一。这样算来走一百米之后信号就只剩下了原来的0.0000000001。

aa2c40f986145290d284aae2e331aaa3b4e0e631

60年代,华人物理学家“光纤之父”高琨在做实验

这位曾在世界著名科学机构贝尔实验室供职十余年的科学家饶有兴趣地讲述了光纤的历史。在他眼中,光通信的进步,就是一部不断“飙车”的历史。从诺贝尔奖得主,华人科学家高琨提出“光的损耗是因为光纤中的杂质引起的”这个论断之后,光纤的传输速率就开始了疯狂的突飞猛进:

  • 1970年,美国康宁公司拉出了第一根光纤。
  • 1977年,AT&T公司第一次在芝加哥把光通信用于商业,速度达到了 44M 每秒。
  • 今天,一根光纤在实验室里的速度达到了 100T 每秒,在商用系统里也可以做到 20T 每秒。

从七十年代中期到现在的三十年,光传输信息的速度提高了1000000倍。看起来技术进步势如破竹,但每一个“0”都来之不易。光通信的基本原理仍然是开和关代表的0和1,这没有变。这就意味着每秒传输1G的数据,光模块要开关1000000000次。没有任何模块可以跳得这么快,于是研究者们不得不研究其他“黑科技”,例如使用不同的相位、添加不同的光颜色来增加传输的信息量。就这样“连滚带爬”地保持了每十年带宽增加100倍的速度,这种成绩即使是我也觉得不可思议,但是过去我们真的就是这样走过来的。谢崇进感叹。他们这一代科学家的使命,就是继续按照摩尔定律推进光通信的速度——每18个月翻一倍。

香农极限

让光通信速度飙车的难度究竟在哪里呢?《2001太空漫游》中有一个载入史册的经典桥段:原始人奋力把骨头抛向天空,转眼骨头化作万年之后的宇宙飞船。抛一根骨头,原始人都可以做到;抛一块巨石,大力士也可以做到;把一根火箭抛出地球大气,却需要科学家艰苦卓绝的努力。

e5bf5275c35ef435e4cc8bcf3f9f607f1b53570e

速度已经达到 100T 每秒的光通信,每前进一步都异常艰难。但面前是数据爆炸式的增长,传输速度增长稍有迟疑,就会拖慢整个世界的奔跑进程。这就是现实。So Far So Good,摩尔定律暂时没有在谢崇进手上失效,但物理世界的天花板——香农极限——就横亘在他面前。他用简单的语言为雷锋网解释了香农极限:

  • 一条道路看上去可以允许车辆用任意的速度通行。但是在路面材质不变的情况下,如果车辆多到了一定程度,就一定存在一个车速的极限。即使每辆车的动力再强,也无法提高整体车速。

也就是说,在现有的材质下,光每秒能传输的信息是有物理上限的。不巧,谢崇进这一代研究者已经逼近了香农极限。以前用来提高传输速率的方法,面对香农极限已经宣布失效了。单单等待材质的进步,肯定达不到摩尔定律的增长速度。作为 NASA 计划的一部分,谢崇进所面临的一切勾勒出了未来的残酷。NASA 要对抗的不是商业对手,而是科学的极限。

阿里巴巴

谢崇进要怎么办呢?实际上,早在2014年他早就预见到了研究可能面对的极限,但他解决问题的方法却与众不同,那就是——加入阿里巴巴。除了材料的进化,还有两个金矿,那就是光模块和网络架构。这两个金矿,阿里巴巴有。说到光模块和网络架构的进化,就不得不提阿里巴巴的一项秘密武器——阿里云。这两项技术在云计算网络中应用最为广泛。

谢崇进说,根据 CISCO 的调查,未来 99% 的互联网流量将来自于数据中心。而数据中心中最主要的成员就是云计算系统。以目前阿里云在中国的碾压态势,这个庞大的云计算系统成为了谢崇进的无边的“实践场”。

f5ca26f4c4d347f83542c0d9ad5ed63e29114498

光模块结构示意图,两侧分别是光信号和电信号,中间是光电转换的控制芯片和转换模块

先来说说光模块:光信息传输的过程中,在一端把电信号变成光,在另一端把光信号变成电,就是光模块的使命。正如之前所说,它就是那个每秒能发射出超过 1000000000 次闪烁的“怪兽”。

在实际环境中,全世界有几百家大的光模块供应商。坑爹的是,这些光模块企业并没有统一的参数标准,甚至连工作流程都不同。例如同样是打开一个信道,有的先调频率,再打开激光器;有的先开激光器再调频率。这就造成了不同光模块同时存在于同一个网络之中的时候,给调度系统造成了巨大的困扰。这就好像一个班主任同时管理说一百种语言的孩子。

我们的方法就是,试着把所有的设备统一抽象成同样的设备。在底层对所有的模块差异进行“掩盖”,这样在上层调度系统来看,他们就都变成一样的设备了。谢崇进说。虽然这样可以大幅优化数据传输速率,但这并不是他理想中的状态。在目前行业普遍采用40G 和 10G 的光模块的时候,他和团队定义出了 100G 的光模块。在供应商还没有生产的时候,就主动找到他们,要求按照阿里巴巴的标准生产。

这种玩法的好处在于,一方面可以加快模块投产,另一方面可以推进很多供应商统一采用阿里的标准,这样就可以在未来逐渐夺取标准制定权。未来如果在硬件层面,大家都遵循统一的标准,那么通信速度自然就会上升2-3倍。

在云计算中心内部,这个问题同样存在。对于人来来说,脑神经的带宽只需要十几兆,因为信息量再大,脑就无法处理了。但对于云计算中心来说,算力之凶猛超越了我们的想象。它们就像一个个超级大脑,内部需要高速路网般强大的神经网络连接。

f62a48968bec5df8e7b5806351122315b71f424b

目前主流云计算中心服务器之间的网络通路为 10G 或 25G,但是这些显然不是谢崇进的目标。他同样在测试 100G 的内部网络连接。当然,做到100G的连接有简单的办法,你只需要四条 25G 的线路并行。但是这显然是作弊。因为所谓的科技进步带来的速度提升,一定是以成本不变或基本不变为前提的。就像这么多年以来,你的手机通信速度越来越快,但是你的电话费并没有随着速度翻倍而翻倍,甚至还有所减少。这才是科技进步的真正形态。这是谢崇进的野心之一。

实际上,谢崇进正在实现他的诺言。他的团队定义的 100G 的通信模块即将在2017年投入使用,而且成为了ODCC(开放数据中心委员会)的标准,这也是中国互联网的荣耀之一。

再来说网络架构:“开放光传输网”,这是谢崇进对自己主导技术的标准称呼。这是指在软件硬件两个层面的网络接口标准,它主要应用在网络集群对外的信息传输上。

这个标准让很多巨头垂涎三尺。运营商自己在搞一套,例如美国的 AT&T,例如中国电信。科技公司也在做标准,比如我们阿里巴巴正在联合一些互联网公司,如 Google 和 Facebook 制定标准。谢崇进说。他做了一个预言:互联网未来的样子是“简单的东西组成强大的系统”。每个东西都可能出现故障,但是作为整体的系统非常可靠。

这番图景需要大量重复的结构进行叠加,而重复的东西必须依靠统一的接口和标准。一旦攥住接口,就攥住了互联网的命脉。科学家群体也许更相信战略,排斥战术。但谢崇进和他们的区别在于,他相信技巧的力量。传统的通信标准都是20年。这意味着现在的标准到20年之后才会升级,而目前为下一个标准所做的准备要前瞻20年。这不是现在真实的情况。为使用20年而做出的设备,和为使用5年做出的设备,成本是有很大差距的。但是目前看来,所有的硬件设备和软件架构都会在5年之内升级换代,那我们为什么要付出那么高的成本?他说。就像现在的自行车一样。现在每一台车都不如过去的凤凰28坚固,但我们并不会希望骑一辆车十年。

谢崇进参与制定的硬件标准,就是5年之后的。这些硬件的速度较上一代跨度虽然没有那么戏剧化,质量要求也并非如此苛刻。但却达到了两个重要的指标:成本控制+技术领先。“单一硬件的可靠性降低,但是受益于冗余的架构,整体系统性能并不降低。在新技术出现的时候,我们就可以迅速地修改下一代标准的走向。”这可以被称为“世俗”的算计,同样可以被称为务实的战术。

621a817b71b5858012b7eefc3ffc5653c014d878

英特尔公司创始人之一,摩尔定律提出者 戈登·摩尔

摩尔定律

400G 光模块,是谢崇进下一个五年计划的“旗舰”。它比目前最新的 100G 模块又快了四倍。以前以太网的增速一直是十倍,但由于互联网快速落地的需求,业内定了一个四倍的“小目标"。

阿里巴巴做生意,人们普遍看好;但阿里巴巴挑战科学极限,并没有那么多祝福。"就你们几个人能定义下一代光通信模块的标准?”这是我最常听到的话。听得多了,我也心里没底了。但是好在我们坚持下来了。现在我可以说,下一代阿里光模块和开放传输网这两件事,我们已经成功了70-80%。谢崇进笃定地说。

从1985年开始研究微波通信,到1993年研究生正式学习光通信,谢崇进经历了九十年代光通信博士找不到工作的窘迫,也见证了2000年十几家通信公司抢一个人的泡沫。比起自己起伏的际遇,他更喜欢回忆另一条曲线:最早的同轴电缆,一条干线上只允许一百多人同时通话;微波通信时代,从北京到上海的干线可以允许960个人同时通话;今天,一根光纤之上,可以允许全世界人同时通话。

但这还远远不够。他所做的一切,更像是对摩尔定律的一个承诺。

36abc73de2671089def4fb0c2584a58dd099ee31

作者:雷锋网史中
目录
相关文章
|
2月前
|
人工智能
AI设计自己,代码造物主已来!UBC华人一作首提ADAS,数学能力暴涨25.9%
【9月更文挑战第15天】近年来,人工智能领域取得了显著进展,但智能体系统的设计仍需大量人力与专业知识。为解决这一问题,UBC研究人员提出了“自动智能体系统设计(ADAS)”新方法,通过基于代码的元智能体实现智能体系统的自动化设计与优化。实验结果表明,ADAS设计的智能体在多个领域中表现优异,尤其在阅读理解和数学任务上取得了显著提升。尽管如此,ADAS仍面临安全性、可扩展性和效率等挑战,需进一步研究解决。论文详情见链接:https://arxiv.org/pdf/2408.08435。
49 4
|
2月前
数十年来首次取得进展,陶哲轩高徒、赵宇飞高徒突破组合数学难题
【9月更文挑战第9天】数十年来,组合数学领域面临诸多未解难题,而近期由陶哲轩与赵宇飞弟子领导的研究团队在Szemerédi定理改进方面取得了突破性进展。这一成果尤其针对k≥5的情况,不仅推进了理论认知,更为解决更高阶的Szemerédi定理提供了新思路。尽管仍有待完善之处,但该研究为组合数学带来了新的希望与方法。论文已发布于[此处](https://arxiv.org/pdf/2402.17995)。
38 5
|
4月前
|
人工智能 自然语言处理 算法
昆仑万维携手南洋理工大学抢发Q*算法:百倍提升7B模型推理能力
【7月更文挑战第4天】昆仑万维与南洋理工大学推出Q*算法,大幅提升7B规模语言模型的推理效能。Q*通过学习Q值模型优化LLMs的多步推理,减少错误,无需微调,已在多个数据集上展示出显著优于传统方法的效果。尽管面临简化复杂性和效率挑战,这一创新为LLM推理能力提升带来重大突破。[论文链接:](https://arxiv.org/abs/2406.14283)**
46 1
|
机器学习/深度学习 人工智能 自然语言处理
ICML2023杰出论文大幅减少至6篇,北大、武理工校友获奖,大模型水印受青睐
ICML2023杰出论文大幅减少至6篇,北大、武理工校友获奖,大模型水印受青睐
ICML2023杰出论文大幅减少至6篇,北大、武理工校友获奖,大模型水印受青睐
|
机器学习/深度学习 传感器 算法
中外专家共同论道 | 人脑与机器渐行渐近,脑机接口「黑科技」照进现实
中外专家共同论道 | 人脑与机器渐行渐近,脑机接口「黑科技」照进现实
134 0
|
机器学习/深度学习 人工智能 架构师
谷歌长文总结四代TPU打造经验:里程碑式的TPUv4是怎样炼成的?
谷歌长文总结四代TPU打造经验:里程碑式的TPUv4是怎样炼成的?
357 0
|
机器学习/深度学习 人工智能 达摩院
「百图生科」再添虎将,国际机器学习大牛宋乐加入李彦宏生物计算军团
近日,百图生科首席 AI 科学家宋乐接受了机器之心专访。作为世界知名机器学习专家,他领导着百图生科 AI 算法团队,为独具特色的生物计算引擎研发提供技术动力。他眼中的生物计算未来,在于「高通量干湿实验闭环」。
234 0
「百图生科」再添虎将,国际机器学习大牛宋乐加入李彦宏生物计算军团
|
机器学习/深度学习 存储 人工智能
和小鼠“智力”水平相当?全球首台亿级神经元类脑计算机是中国造的!
和小鼠“智力”水平相当?全球首台亿级神经元类脑计算机是中国造的!
和小鼠“智力”水平相当?全球首台亿级神经元类脑计算机是中国造的!
|
Web App开发 机器学习/深度学习 人工智能
观点|企业挖角 AI 教授是不是「原罪」?
  AI 学者该不该在企业挂职?挂职的话,精力又该如何分配?这些问题随着 AI 的全面火热在学界频频被提起。最具代表性的一次交锋,要属去年 8 月份 Yann LeCun 与 UC 伯克利大学 Ben Recht 为首的教授们分别对此撰文表达截然不同的立场:前者认为这将有助于「推动 AI 的创新」,后者则认为这将「扼杀、冷藏」创新。   近日,卡内基梅隆大学计算机科学系的副教授 Ariel Procaccia 同样撰文表达了自己对于企业过度招揽 AI 学者现象的忧虑,只是他并未偏颇早前的任一立场,而是呼吁大家一起找到摆荡于两者之间的「可持续性模式」,来看看他是怎么说的吧。
202 0
「镁客早报」人类首次在太空3D打印生物器官;中国学者研制出高性能低成本的电解“水制氢”催化剂
SpaceX公司Dragon飞船油漆可能是造成国际空间站污染的罪魁祸首;谷歌公布将在加州山景城进行大规模开发。
611 0