【逐云】阿里“水电煤”背后的人物故事

简介: 《逐云》第三期,我们拍了阿里巴巴通用计算平台负责人关涛,记录了他的学生时代,以及为什么从美回国来到阿里巴巴做通用计算平台,以及他对未来的展望。

TB1c8kqXotWMKJjy0FaXXcCDpXa-700-200.png

《逐云》是云栖社区的一档人物记录短视频栏目。一共10集。锁定云技术领域,每期记录1位云技术细分领域的代表专家,见证云技术先行者在时代潮流下的选择与追寻、坚持与自由。了解更多云栖专家分享,请点击云栖专家频道,当然我们也欢迎你往前走一步,成为我们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一起“煮酒论英雄”。


本期人物:阿里巴巴通用计算平台负责人关涛


以下为关涛讲述:


学生时代:一路保送,但可能不是你想象中的学霸


可能我不是那种大家想象中的学霸。爱读书,但也很爱玩。我觉得兴趣是最重要的。读书经历的话,一路基本没考过试。初中到高中是保送,高中到大学因为数学竞赛保送了南开大学,读的计算机专业。选择计算机,是因为从小特别爱玩游戏,边玩还会边修改存档,就这样迷上了计算机。后来大学到研究生,是从南开推荐到了天津大学,带我的导师在网络方面研究成果很领先,也是通过他在计算机的领域里走得更深入。


除了游戏,也很爱运动。工作后没了那么多时间玩游戏,但会一直坚持运动。在微软时也曾做过微软中国网球协会主席,拿过微软大部门网球联赛的冠军。很爱单板滑雪,之前也一直坚持在每年的最后一天自驾去不同的滑雪地滑雪。

   

初入社会:微软最年轻的技术管理者之一,带跨国团队更具挑战


研究生毕业后,拿到了微软的offer,一做就是6年。在微软的第一个项目,是做基础架构,主要负责分布式系统。在当时的体量还是很大,团队有几千台机器可以布局。最考验的是系统的拓展能力,这个经历也成为了后来逐步往上做的基础。


第二个项目,是做搜索后台,那时整个业界搜索技术也刚起步,可以理解为是从0到1的过程,到后来这个搜索后台也成为了微软后台最重要的搜索架构之一。


做完了这两个偏存储层面的后台后,开始往上做,做大数据,更偏重于计算层。也就是在微软的第三个项目:交互式查询。从最初牵头来做这个项目到经历各种系统的升级更新,做到后面基本微软一半以上的团队都在用这个系统。


做到这里,在微软国内已经算是比较资深的员工,刚好在做组织架构调整,希望可以接受更大的挑战,便决定去到美国那边的对口组,在那边工作了两年的时间。这期间继续深入做交互式查询、优化推动等,因为在微软比较早就开始带团队,在美国那边也是带团队,不过这次是多国的战队。也是在那时积累了很多团队管理的经验,包括如何带领多国成员组成的团队,如何与远程团队沟通等。


阿里人:从微软到阿里,技术信念的回归


在微软工作将近10年,中国美国都工作过,带一个团队做交互式大数据计算这个领域,当时是一个比较“得心应手”的状态。微软也是大型工作,内部可以换到各种不同的工作和岗位,之前大约每两年也会make some change。过去的十年,以BAT为代表的本土公司也发展的很快,一直很好奇哪些技术、风格、文化上的特点驱动了BAT。所以当时有了阿里的机会,也很好奇希望更深入的了解,也算是make a bigger change。


从工作性质上,还是很match,都是大数据引擎(规模上有较大差异),而且阿里在国际化方面有投资,也需要跨国经验,之前的技术,工程和管理经验都能复用。


另外,我在很小的时候,有一次到中关村玩。有两个广告牌给我留下了深刻的印象,到现在我都记得,一个是联想的“人类失去联想,世界将会怎样”,一个是金山软件“为国产软件的发展而奋斗”,这两个广告体现了。。。。。。。兜兜转转十年,转回到阿里,做通用计算平台(Maxcompute),也算是为国产软件而奋斗了。


在微软做了近10年,一路都是在核心项目上深挖,也是在业界比较领先的技术上向前走,当时国内的BAT也有了加速的发展,很多地方速度超越了微软、谷歌这样的外企,正巧阿里在西雅图成立了分部,对阿里技术一直比较看好,再加上技术线和自己也很匹配,便来到了阿里,成为了当时阿里西雅图分部的第22名员工。    


之前也一直带北京和美国的团队。这次在阿里,我管这个叫“两岸三地工作”(太平洋两岸,北京,杭州,西雅图),这个工作状态,确实工作更忙一些,很多会议需要照顾两边的时差,但这也是必要的。杭州和北京团队setup都很齐整,西雅图是我们最近两年的海外研发中心,特别的西雅图的“云谷”,云计算北美的三巨头都在,希望通过海外人才的引进,进一步提升我们竞争力。这方面需要加大投资,付出一些时间和沟通成本也是值得的。


随着三边团队融合和成熟,情况已经不错了。研发全球化一些优势已经开始体现,例如24小时全球事情cover的值班能力,国内/海外的客户和合作伙伴会议,可以就近参加(例如与Intel美国团队的合作,由西雅图同学完成)。


责任:在阿里,开启的是一场大的硬仗


在阿里我有一种感觉,就是事比人多,可做的事情非常多。就好像带领一个大战队,去打一场很大很持久的硬仗。关于计算平台,你可以想象一座航母,本身系统很复杂,周期也很长,这个航母的每次转型都耗资巨大,但如果转型的方向正确,战斗力里一定会非常地强。计算平台之于阿里,便是类似这样一个存在。


在阿里负责的是带整个计算平台(Maxcompute)的团队,在之前,阿里是各个业务部门会搭自己的数据平台,现在是统一收到一个统一的大后台中,计算平台便是这个统一的平台,也是整个阿里巴巴的数据中心。阿里内部超过95%的数据都在这个平台上,每月的月活有一万多人,也就是每4个阿里员工中就会有1个人在用这个系统,每天的获阅量有300万左右。阿里这么多业务线的数据汇总在一起,数据也就具有了一加一大于二的特性,所有这些数据综合在一起也是阿里巴巴最大的数据价值之一。如果这个平台一旦不工作,举例说,像支付宝的商户订单、商家商户的统计信息以及商品的维度信息等都会缺失掉,影响是非常难以想象的。


来到阿里,最开始就在和其他架构师一起,对这个计算平台进行一次全面的革新,将性能提升了一倍。一倍可能很多人会没有明确的概念,举例来说,性能提升5%可以省去的预算时一个亿,那么一倍的话其实是节省了20亿的预算。


计算平台最典型的应用,便是每年的双十一。双十一期间我们团队会值48小时的班,第一天支撑实时流量和交互式查询,第二天需要支撑分量的信息,中间不能有间断。每年双十一结束的时候,计算平台也会迎来全年最大的洪峰期,数据量会暴涨三倍到五倍的样子,非常考验整个数据平台的能力,所以真的是一场很大的硬仗。


对未来的展望:让计算平台(Maxcompute)成为阿里的“水电煤”


针对计算平台的未来,是希望它可以普及成为“水电煤”一般的基础设施。具体的方向,一是要有匠心也要有深耕,要从以业务为主能上能下,转变为可在某一个领域深耕,能够打造业界影响力的一个状态。二是生态线上有非常多的地方值得我们学习,也值得去整合,希望可以做到闭源系统与开源平台很好的互动,在保证数据资源都统一的基础上,能够保有既有资源系统最核心的能力,比如更安全、更高效、功能更强的优势,也能支撑开源系统更好的生态性,从而找到这中间的结合点。我也很坚信,目前我们做的方向是对的。希望自己可以带领阿里计算平台这座航母,开得更远。


就我个人而言,也是希望可以以内部和外部业务为导向,把计算平台(Maxcompute)这座航母本身的战斗力提升上来,在业务、科研、高校等领域打造影响力,把它打造为世界上最好的计算平台(Maxcompute)。


相关内容:


1.关涛的个人博客

2.阿里巴巴大数据-玩家社区

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 分布式计算 资源调度
MaxCompute常见错误汇总(更新ing)
从今天开始,小编会为大家陆续解读MaxCompute常见问题,帮助大家快速上手MaxCompute,玩转大数据计算平台。
25243 8
|
1月前
|
算法 API 计算机视觉
【开源项目推荐】Rebucca 视频分析模型/平台调研报告
本文详细介绍并全方位调研了开源热门视频分析平台Rebucca。Rebucca 是一款开源免费的智能视频分析平台,基于 Python + ZLMediaKit + YOLO,支持 GB28181/RTSP/RTMP/ONVIF 接入、多模型推理(PyTorch/ONNX/OpenVINO)、小模型检测+大模型语义复核,以及区域入侵、越线、滞留、密度等6类布控规则。适用于园区、工地、仓库等中小规模AI布控验证与二次开发,但大规模生产需压测加固。
【开源项目推荐】Rebucca 视频分析模型/平台调研报告
|
1月前
|
缓存 JSON API
通义千问Qwen3.7-Flash技术手册:百万级长文档处理、编程能力与API接入教程
综合来看,新版通义千问Qwen3.7‑Flash的核心优势在于百万上下文高速预填充、多模态空间感知、轻量化推理成本,MoE稀疏混合专家架构兼顾模型能力、推理速度与调用开销,适配批量文档处理、代码工程、多模态智能体等高并发业务场景。在实际开发使用时,需要结合业务场景选择是否开启思考模式,合理设计工具描述,做好上下文管理与异常处理,充分发挥模型高速长文本与跨模态推理能力,同时做好Token用量管控,平衡应用效果与调用成本。作为面向高并发业务的高速多模态基座模型,它可以大幅降低大规模智能体应用的开发成本,支撑企业级批量文档分析、自动化智能体项目落地。
252 1
|
2月前
|
缓存 人工智能 JSON
Kimi‑K3旗舰大模型深度解析:百万上下文、Agent智能体与API开发实战全指南
Kimi‑K3作为三万亿参数级别的开放旗舰基座模型,依靠KDA混合线性注意力、注意力残差底层架构革新,释放百万级上下文、原生多模态、长周期智能体、工程级编程等全套能力。既擅长长文档深度研判、大型代码库处理,也能够完成多工具协同的知识工作类智能体任务,兼顾原型验证、离线批量任务、复杂长周期智能体业务。
372 1
|
1月前
|
设计模式 SQL 安全
【第三部分:第一个 Agent 应用】14. 开发一个完整的企业知识助手:从 RAG 到 Agent
本文以企业知识助手为综合实践,整合 RAG、Agentic RAG、Tool Calling、MCP、Memory、State、Structured Output、权限控制、引用溯源与 Trace/Eval 等能力,说明企业知识助手如何从“知识库问答”升级为能够连接业务系统、理解上下文并执行真实任务的 Enterprise Agent。文章重点介绍权限感知检索、Metadata、业务 Tool、长期记忆、人工确认和可观测评估等生产级能力,并结合 BaseMetas EKA 架构说明企业知识与 Agent 如何协同落地。
356 0
|
2月前
|
存储 人工智能 弹性计算
阿里云免费中心指南:免费云服务器、AI模型、云数据库、云存储等免费攻略
阿里云免费中心提供超176款云产品新用户免费试用,涵盖ECS、OSS、RDS、函数计算、无影云电脑、PAI等,覆盖计算、存储、AI、安全等15大类。个人/企业新用户享300/660元额度,部分产品如OSS、CDE、PAI-DSW等也有专属免费资源。注意:仅限首次使用该产品的账号,停机不暂停计费,到期未释放将产生费用。(239字)
|
2月前
|
人工智能 编解码 API
阿里云Token Plan是什么?百炼TokenPlan介绍、费用、API调用及问题解答FAQ
阿里云百炼Token Plan是面向AI开发者的统一计费订阅服务,以Credits为通用消耗单位,覆盖文本、图像、视频、语音及Harness工具,兼容OpenAI/Anthropic协议。支持个人版(7天滚动限额)与团队版(坐席制+月度额度),助力开发者降本增效、简化成本管理。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
270 0
|
4月前
|
域名解析 弹性计算 网络安全
从零开始:阿里云服务器购买+配置+建站全流程教程
搭建个人或小型网站,阿里云ECS是稳定可靠的选择,从服务器购买、环境配置到网站部署,全程可按标准化流程完成,无需深厚技术基础。以下从前期准备、服务器购买、初始化配置、运行环境搭建、网站部署、域名解析与备案六大环节,详细拆解全流程,确保新手也能顺利完成网站上线。
1304 1
|
10月前
|
SQL 人工智能 监控
超越单点AI:智能体来了(西南总部)解构 Multi-Agent 系统的协同设计哲学
智能体来了(西南总部)提出,AI 下半场的核心是“组织力”竞争。本文深度解析 Multi-Agent 系统如何通过角色分工、动态通信、共享记忆与自省机制,构建协同“数字兵团”,实现企业生产力的范式跃迁,推动运营工程师从提示词写作者迈向系统架构师。
407 2

热门文章

最新文章