《逐云》是云栖社区的一档人物记录短视频栏目。一共10集。锁定云技术领域,每期记录1位云技术细分领域的代表专家,见证云技术先行者在时代潮流下的选择与追寻、坚持与自由。了解更多云栖专家分享,请点击云栖专家频道,当然我们也欢迎你往前走一步,成为我们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一起“煮酒论英雄”。
本期人物:阿里巴巴通用计算平台负责人关涛
以下为关涛讲述:
学生时代:一路保送,但可能不是你想象中的学霸
可能我不是那种大家想象中的学霸。爱读书,但也很爱玩。我觉得兴趣是最重要的。读书经历的话,一路基本没考过试。初中到高中是保送,高中到大学因为数学竞赛保送了南开大学,读的计算机专业。选择计算机,是因为从小特别爱玩游戏,边玩还会边修改存档,就这样迷上了计算机。后来大学到研究生,是从南开推荐到了天津大学,带我的导师在网络方面研究成果很领先,也是通过他在计算机的领域里走得更深入。
除了游戏,也很爱运动。工作后没了那么多时间玩游戏,但会一直坚持运动。在微软时也曾做过微软中国网球协会主席,拿过微软大部门网球联赛的冠军。很爱单板滑雪,之前也一直坚持在每年的最后一天自驾去不同的滑雪地滑雪。
初入社会:微软最年轻的技术管理者之一,带跨国团队更具挑战
研究生毕业后,拿到了微软的offer,一做就是6年。在微软的第一个项目,是做基础架构,主要负责分布式系统。在当时的体量还是很大,团队有几千台机器可以布局。最考验的是系统的拓展能力,这个经历也成为了后来逐步往上做的基础。
第二个项目,是做搜索后台,那时整个业界搜索技术也刚起步,可以理解为是从0到1的过程,到后来这个搜索后台也成为了微软后台最重要的搜索架构之一。
做完了这两个偏存储层面的后台后,开始往上做,做大数据,更偏重于计算层。也就是在微软的第三个项目:交互式查询。从最初牵头来做这个项目到经历各种系统的升级更新,做到后面基本微软一半以上的团队都在用这个系统。
做到这里,在微软国内已经算是比较资深的员工,刚好在做组织架构调整,希望可以接受更大的挑战,便决定去到美国那边的对口组,在那边工作了两年的时间。这期间继续深入做交互式查询、优化推动等,因为在微软比较早就开始带团队,在美国那边也是带团队,不过这次是多国的战队。也是在那时积累了很多团队管理的经验,包括如何带领多国成员组成的团队,如何与远程团队沟通等。
阿里人:从微软到阿里,技术信念的回归
在微软工作将近10年,中国美国都工作过,带一个团队做交互式大数据计算这个领域,当时是一个比较“得心应手”的状态。微软也是大型工作,内部可以换到各种不同的工作和岗位,之前大约每两年也会make some change。过去的十年,以BAT为代表的本土公司也发展的很快,一直很好奇哪些技术、风格、文化上的特点驱动了BAT。所以当时有了阿里的机会,也很好奇希望更深入的了解,也算是make a bigger change。
从工作性质上,还是很match,都是大数据引擎(规模上有较大差异),而且阿里在国际化方面有投资,也需要跨国经验,之前的技术,工程和管理经验都能复用。
另外,我在很小的时候,有一次到中关村玩。有两个广告牌给我留下了深刻的印象,到现在我都记得,一个是联想的“人类失去联想,世界将会怎样”,一个是金山软件“为国产软件的发展而奋斗”,这两个广告体现了。。。。。。。兜兜转转十年,转回到阿里,做通用计算平台(Maxcompute),也算是为国产软件而奋斗了。
在微软做了近10年,一路都是在核心项目上深挖,也是在业界比较领先的技术上向前走,当时国内的BAT也有了加速的发展,很多地方速度超越了微软、谷歌这样的外企,正巧阿里在西雅图成立了分部,对阿里技术一直比较看好,再加上技术线和自己也很匹配,便来到了阿里,成为了当时阿里西雅图分部的第22名员工。
之前也一直带北京和美国的团队。这次在阿里,我管这个叫“两岸三地工作”(太平洋两岸,北京,杭州,西雅图),这个工作状态,确实工作更忙一些,很多会议需要照顾两边的时差,但这也是必要的。杭州和北京团队setup都很齐整,西雅图是我们最近两年的海外研发中心,特别的西雅图的“云谷”,云计算北美的三巨头都在,希望通过海外人才的引进,进一步提升我们竞争力。这方面需要加大投资,付出一些时间和沟通成本也是值得的。
随着三边团队融合和成熟,情况已经不错了。研发全球化一些优势已经开始体现,例如24小时全球事情cover的值班能力,国内/海外的客户和合作伙伴会议,可以就近参加(例如与Intel美国团队的合作,由西雅图同学完成)。
责任:在阿里,开启的是一场大的硬仗
在阿里我有一种感觉,就是事比人多,可做的事情非常多。就好像带领一个大战队,去打一场很大很持久的硬仗。关于计算平台,你可以想象一座航母,本身系统很复杂,周期也很长,这个航母的每次转型都耗资巨大,但如果转型的方向正确,战斗力里一定会非常地强。计算平台之于阿里,便是类似这样一个存在。
在阿里负责的是带整个计算平台(Maxcompute)的团队,在之前,阿里是各个业务部门会搭自己的数据平台,现在是统一收到一个统一的大后台中,计算平台便是这个统一的平台,也是整个阿里巴巴的数据中心。阿里内部超过95%的数据都在这个平台上,每月的月活有一万多人,也就是每4个阿里员工中就会有1个人在用这个系统,每天的获阅量有300万左右。阿里这么多业务线的数据汇总在一起,数据也就具有了一加一大于二的特性,所有这些数据综合在一起也是阿里巴巴最大的数据价值之一。如果这个平台一旦不工作,举例说,像支付宝的商户订单、商家商户的统计信息以及商品的维度信息等都会缺失掉,影响是非常难以想象的。
来到阿里,最开始就在和其他架构师一起,对这个计算平台进行一次全面的革新,将性能提升了一倍。一倍可能很多人会没有明确的概念,举例来说,性能提升5%可以省去的预算时一个亿,那么一倍的话其实是节省了20亿的预算。
计算平台最典型的应用,便是每年的双十一。双十一期间我们团队会值48小时的班,第一天支撑实时流量和交互式查询,第二天需要支撑分量的信息,中间不能有间断。每年双十一结束的时候,计算平台也会迎来全年最大的洪峰期,数据量会暴涨三倍到五倍的样子,非常考验整个数据平台的能力,所以真的是一场很大的硬仗。
对未来的展望:让计算平台(Maxcompute)成为阿里的“水电煤”
针对计算平台的未来,是希望它可以普及成为“水电煤”一般的基础设施。具体的方向,一是要有匠心也要有深耕,要从以业务为主能上能下,转变为可在某一个领域深耕,能够打造业界影响力的一个状态。二是生态线上有非常多的地方值得我们学习,也值得去整合,希望可以做到闭源系统与开源平台很好的互动,在保证数据资源都统一的基础上,能够保有既有资源系统最核心的能力,比如更安全、更高效、功能更强的优势,也能支撑开源系统更好的生态性,从而找到这中间的结合点。我也很坚信,目前我们做的方向是对的。希望自己可以带领阿里计算平台这座航母,开得更远。
就我个人而言,也是希望可以以内部和外部业务为导向,把计算平台(Maxcompute)这座航母本身的战斗力提升上来,在业务、科研、高校等领域打造影响力,把它打造为世界上最好的计算平台(Maxcompute)。
相关内容:
1.关涛的个人博客