为了让网速更快,阿里工程师与顶级数学家有一个大胆猜想

简介: 2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔” -- 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心血之作的全过程。

2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔” -- 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心血之作的全过程。

邀请他共建新理论的朋友是一群从读博期间就熟读Frank Kelly著作,受其影响的年轻人。同时,他们的另一个身份是阿里巴巴工程师。

10


阿里代表正在SIGCOMM 2019做分享

近日,他们提出了双方合作的研究成果HPCC,对高性能网络的拥塞控制这一世界级难题提出了一种全新的算法,同时在世界顶级的学术会议SIGCOMM 2019上发表,这也标志着阿里巴巴在基础研究上又一重大突破。

这样的CP结缘于阿里云栖大会数学大赛。年近6旬的Frank Kelly是全球知名的数学家,曾因成功通过经济学理论建模和解释了互联网技术中最基础的传输协议TCP(Transportation Control Protocol)拥塞控制而声名大噪:他用经济学理论对TCP的收敛性和公平性做出分析,从理论上论证了TCP在互联网环境下的稳定性和有效性。而在当时,张铭(现为阿里云智能研究员)正在普林斯顿大学的攻读博士,Kelly教授的著作正是他常读的经典论文之一,其中不少观点对张铭日后的网络研究大有启发。

11


Frank Kelly与阿里HPCC相关论文作者合影

随着云计算的迅猛发展,面向大规模数据中心的高性能网络架构正成为主流,FrankKelly教授当年所论证的TCP拥塞控制在新一代高性能网络中面临严峻挑战,这也正是当下数据中心网络里面临的核心难题之一。

2018年9月,Frank Kelly受邀到杭州参加阿里数学大赛开幕仪式,在与张铭所属的阿里基础设施网络团队交流中,了解到目前高速网络拥塞控制遇到的挑战。

12


Frank Kelly与阿里工程师交流

作为拥塞控制的早期研究者,Kelly教授对此产生了浓厚的兴趣。凭借Kelly教授对网络理论的敏锐嗅觉和张铭团队对高性能数据中心网络的丰富实战经验,双方不约而同产生了一个大胆的猜想:目前主流的高速网络拥塞控制算法在理论上很可能无法证明其稳定性,且这就是造成一系列工程实践问题的根本原因。

于是双方决定展开合作,共同解决大规模、高性能网络拥塞控制这一世界级难题。从此之后,阿里西雅图办公室与英国剑桥大学之间的电话经常响起,无数想法在其间碰撞。

历经4个多月的跨洋合作,双方终于设计出了一套全新的高性能网络拥塞控制算法HPCC。不同于当前主流的拥塞控制算法,HPCC不但在理论上有稳定性,高效性和公平性的保证,而且在拥塞场景下的网络延迟比现有的算法好上几十倍到上百倍。

在世界各地,各种各样的电脑运行着各自不同的操作系统,这些电脑在表达同一种信息的时候所使用的方法是千差万别。因而需要通过建立标准的网络协议把各种计算机连接起来,才能完成计算机间相互交流,TCP(Transportation Control Protocol)协议应运而生。

TCP就像是给计算机世界里铺设了统一的道路,使得信息的实时传输成为可能。在现实的交通网络里,只有宽阔的道路,没有红绿灯,没有好的交通规则和交通控制和疏导系统是不够的。计算机世界里同理,网络带宽资源是有限的,阿里巴巴工程师和Kelly教授设计了全新的拥塞控制算法,就好比是数据中心网络里的“红绿灯”系统,保证每台服务器的流量是可控且公平的,既不会因为带宽资源过少造成网络卡顿, 也不会让某一方获得过大的带宽,阻塞其他的流量。

在有着浓厚的理想主义和现实主义色彩的阿里,人们对技术创新的要求不仅仅是停留在实验室,而是真正用技术创新去服务于实际生产。于是,在HPCC初见成效之际,阿里网络团队决定在模拟真实生产环境的软硬件上,实现和测试这一新算法。

经过精巧的软硬件设计和4万多行代码的编写,阿里网络团队仅仅用2个月就快速和高效地实现了HPCC及相关的协议栈原形。实验表明,HPCC不但可以在现有硬件上高效率的实现,而且其实际效果和理论分析的结果高度吻合。这意味着HPCC为下一代高性能网络拥塞控制开启了一个全新的研究思路和方向,并将对云计算网络的设计和运营产生长远和深刻的影响。

阿里工程师们与Kelly教授的这次合作依稀让人感觉时空交织的惊奇与美妙。50后Kelly的著作启发了70后的张铭博士的博士研究工作,张铭又在多年后带领着团队里的80后90后年轻人与Kelly并肩作战,在新一代网络技术的浪潮中挑战传统,面向未来。

对基础研究的投入和支持不能只停留在理论层面,还需要联合一线工程师与应用场景的紧密结合。也许这正是阿里巴巴成立达摩院支持基础研究的原因。正如阿里云智能总裁,达摩院院长张建锋在2019年阿里云峰会上所说:“(阿里巴巴)全集团的科研力量将融会贯通,达摩院的能力与云全面结合。未来还将加大研发投入,扩大云的技术代差优势。”

随着阿里巴巴技术实力的崛起和对基础研究的重视,我们有足够的理由相信,未来如这样的神奇之旅,未完待续。

相关文章
|
4月前
|
人工智能 自然语言处理 安全
2025AI数字人企业名单列表新发布及全域技术新排行
解码数字人企业TOP10,透视技术革新与产业未来。像衍科技领衔,依托浙大科研实力,实现全栈自研与多模态交互突破;阿里、华为、腾讯等巨头布局电商、工业、娱乐等全场景应用。从医疗陪护到政务导办,数字人正从“形似”迈向“神似”,推动AI进入“生产力时代”。轻量化、私有化、行业化成关键趋势,万亿市场加速成型。
|
JavaScript 定位技术 API
uniapp腾讯地图路线规划
uniapp腾讯地图路线规划
1151 0
|
机器学习/深度学习 算法 openCL
高效、轻量的深度学习框架MNN
MNN是一个高效、轻量的深度学习框架。
高效、轻量的深度学习框架MNN
|
11月前
|
设计模式 Java 数据库连接
【设计模式】【结构型模式】代理模式(Proxy)
一、入门 什么是代理模式? 代理模式(Proxy Pattern)是一种结构型设计模式,允许你提供一个代理对象来控制对另一个对象的访问。 代理对象在客户端和目标对象之间起到中介作用,可以在不改变目标对
315 10
|
人工智能 移动开发 算法
【2023华中杯数学建模】B 题 小学数学应用题相似性度量及难度评估详细建模方案及实现代码
本文提供了2023年华中杯数学建模B题的详细建模方案和实现代码,包括设计小学数学应用题相似性度量方法、建立题目难度评估数学模型、对题库进行相似性或难度分类,以及使用TF-IDF和K-Means聚类算法进行题目难度分析和相似题目推荐。
460 0
【2023华中杯数学建模】B 题 小学数学应用题相似性度量及难度评估详细建模方案及实现代码
|
机器学习/深度学习 数据采集 自然语言处理
摘要分享服务python版
【10月更文挑战第3天】本文介绍了将链接转换为标题和内容摘要的技术,包括抽取式和生成式摘要方法。抽取式摘要通过提取关键句子生成摘要,而生成式摘要则通过理解语义生成新句子。文中还详细描述了链接预览生成的实现过程,从链接识别到内容解析,再到预览卡片生成,并提供了Python代码示例。这些技术提高了信息的可读性和访问效率。
323 3
|
Web App开发 缓存 自然语言处理
60 个神级 VS Code 插件!(2)
60 个神级 VS Code 插件!(2)
696 0
60 个神级 VS Code 插件!(2)
|
安全 测试技术 网络安全
网络安全中的渗透测试与风险评估:技术深度解析
【7月更文挑战第3天】在网络安全领域,渗透测试和风险评估是两种不可或缺的技术手段。通过模拟黑客的攻击手段来发现系统中的安全漏洞,以及通过系统性的方法来识别和评估潜在的风险和威胁,两者共同为组织提供了全面的网络安全保障。随着技术的不断发展和网络环境的日益复杂,渗透测试和风险评估的重要性将日益凸显。因此,网络安全从业者应不断学习和掌握这两种技术,以应对日益严峻的网络安全挑战。
|
前端开发 JavaScript 开发者
Bootstrap 3.x 版本基础引入指南
Bootstrap 3.x 版本基础引入指南
651 0
|
机器学习/深度学习 数据采集 人工智能
使用Python和Scikit-learn实现机器学习分类任务
使用Python和Scikit-learn实现机器学习分类任务
563 1

热门文章

最新文章

下一篇
开通oss服务