3万亿背后,阿里巴巴正在造一台“全球通用计算机”|涨知识

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 在创立阿里巴巴的时候,马云可能没有想过,这家公司今后会对互联网技术发展有如此重要的影响。3月21日,阿里巴巴中国零售交易市场2016财年商品交易即时总额突破三万亿元人民币,沃尔玛用了54年达到这个数字,阿里巴巴只用了13年。在3万亿的背后,阿里巴巴正在造一台“全球通用的超级计算机”,这台计算机已经服务了60多个国家的180万家企业。云计算大数据是阿里未来十年的核心战略之一。

在创立阿里巴巴的时候,马云可能没有想过,这家公司今后会对互联网技术发展有如此重要的影响。

 

3月21日,阿里巴巴中国零售交易市场2016财年商品交易即时总额突破三万亿元人民币,沃尔玛用了54年达到这个数字,阿里巴巴只用了13年。在3万亿的背后,阿里巴巴正在造一台“全球通用的超级计算机”,这台计算机已经服务了60多个国家的180万家企业。云计算大数据是阿里未来十年的核心战略之一。

 

技术拓展商业边界

“再不掌握自己的核心技术,再过几年淘宝就完蛋了。”2008年,刚刚加入阿里巴巴的CTO王坚对马云说的话,曾被不少人视为“忽悠”。

image.png

 

当时阿里的IT工程师们还在为一个宏大的问题而苦恼:当时的交易规模已经超过了全球传统软硬件巨头的技术极限,耗资巨大却无法解决问题。

 

电子商务爆发式增长,人类社会从未有过如此规模的商业交易在一个互联网平台上进行,阿里的工程师们站在了人类从未踏足的领域,没有人能提供可参考的技术或者方案。

 

“我们把全中国最知名的顶尖的DBA(数据库管理员)请到公司,一个晚上一张报表都做不出来,没有任何一家公司,包括IBM、微软,能够为我们提供一整套的技术服务。”阿里巴巴技术专家接受财新采访时回忆。

 

商业的车轮不停往前滚,秒杀、大促、双11......电子商务让市场充满了想象力,但各类营销活动却成为阿里工程师的“紧箍咒”,因为当时的IT架构没办法提供商业需要的弹性。

 

“为了准备一次秒杀营销,从社会采购到安装部署至少需要半年的时间,才能完成IT系统宽容量的过程,但半年以后,这项业务几乎已经不存在了。”这位阿里巴巴技术专家说。

 

“阿里应该尝试用PC技术替代小型机技术。”在一次内部讨论中,现任阿里巴巴集团首席风险官的刘振飞和阿里技术保障部DBA周宝方提到,用便宜的Commodity PC替换掉过去昂贵的硬件设备,并采用大规模分布式架构技术来解决上述问题。

 

这个提议后来被正式写了下来,“阿里再也不购买小型机。”

 

“去IOE(在IT设备中去除IBM小机、Oracle数据库及EMC存储)”也由此得名。阿里技术发展策略逐渐从“商业软件”发展到自主技术和云计算构成的综合技术服务能力。

 

建造“全球通用计算机”

 

如果把时间轴快进到现在,8年前阿里工程师们的“紧箍咒”已经不复存在。

 

2015年双11中,最多每秒有14万订单创建,每秒8.59万笔支付,这一结果建立在阿里云与淘宝、天猫、支付宝共同构建的全球最大规模混合云之上。雄辩地证明了这一技术道路的成果。

image.png

但放在8年前,提出这项技术运动并且推进下去,无疑是战略家的勇气和决心。毕竟当时,也只有Google和Amazon在投入这项技术的研发,后者去年才在财报中披露云计算业务的收入。

 

淘宝是首先推行“去IOE”战略的业务部门之一。到2013年7月10日,淘宝重中之重的广告系统的Oracle数据库全部下线。同年,阿里集团最后一台IBM小机在支付宝下线。

image.png


“真的把大数据在集团内部推向一个新高度的,我认为是阿里金融。”阿里云高级数据仓库专家陈鹏宇介绍,创立于2009年的阿里金融,从一开始就完全跑在MaxCompute和飞天上,用数据和算法来决定哪个商家可以获得多少贷款额度,需要付出多少利息。

 

当时阿里金融的催收部门,做到了用“机器”来决定业务人员需要给哪一家客户电话拜访、哪一家客户需要立马派人去催收。在这样的场景下,“机器”代替人类做出商业判断,这也是阿里巴巴为行业描绘的未来商业场景。

 

2013年年底,阿里云自主研发的MaxCompute(原名ODPS)开始支撑电商平台大数据业务,包括淘宝、天猫、支付宝、菜鸟等所有大数据处理工作,均由这一大数据平台进行处理。

 

云计算+大数据的格局形成,验证了2008年阿里内部一次会议的两个议题:1. 阿里是一家数据公司;2. 阿里要把计算变成水和电一样的基础设施。

 

2016年年初,阿里云发布大数据平台“数加”,对外开放阿里巴巴十余年累积的大数据技术。该平台集合计算引擎、开发套件、可视化工具和行业解决方案,是全球首个囊括前、中、后台的大数据一站式开发平台。

 

在浙江,交管部门正在使用阿里云提供的交通预测解决方案,来预测未来5到60分钟的高速路况,并尝试向公众开放这一服务。这一预测的准确率达到了91%以上。

 

“通过对未来路况的预测,交通部门可以更好的进行交通引导,用户也可以做出更优的路线选择。”浙江省交通信息中心主任韩海航表示,海量数据纳入到全网路况的时空演变模型后,对云平台的大数据计算能力就提出了很高的要求。

 

阿里云大数据计算服务(MaxCompute)为项目提供了分析支持,并有多位资深数据科学家参与了联合研发。阿里云闵万里博士介绍,MaxCompute的强大计算能力可以在20分钟完成历史数据分析,10秒钟完成实时数据分析。

image.png


去年年底,在由数据库之父Jim Gray创办的排序基准评估竞赛Sort Benchmark中,MaxCompute把100TB数据的排序时间缩短到了377秒,打破了此前由微软、雅虎等公司保持的纪录,获得全球4项世界冠军。

 

服务全球 180 万企业

“今年除夕夜,得益于阿里云的技术支持,微博运行顺畅,保障了数亿用户的流畅体验。”微博研发中心高级架构师刘道儒表示,今年春节期间,新浪微博与阿里云合作,通过混合云架构,快速接入云计算的弹性能力,顺利扛过除夕流量洪峰。

image.png

 

任何公司、机构、个人,不需自己购买服务器,只要联网即可一键开启使用阿里云提供的计算资源。今年年初,阿里云总裁胡晓明在接受媒体采访时表示,“今天阿里云想做的事情是希望让计算变成每个人的能力,我们要做的是让计算变得更简单。”

 

“如今的电脑可以在不改变硬件的情况下提升计算能力,因为他们可以调用云端的庞大计算资源。”《经济学人》也撰文表示,受益于云计算的发展,企业升级PC的频率已经降低,并且不再使用自己的服务器,因为他们联网即可调用云端的计算资源。

 

火车票购票网站12306也使用了阿里云提供的云计算服务来应对春运购票洪峰。据了解,从2014年开始,12306在春节、国庆等购票高峰时使用阿里云来支撑其余票查询功能,其中在2015年春节75%的查询业务都由云计算平台来支撑。

 

云计算可以看做一台“全球通用计算机”,只要联网,即可为任何企业个人提供庞大的计算资源。现在,阿里巴巴正在为全球180万家企业提供云计算大数据服务。云计算大数据成为阿里巴巴未来十年的核心战略之一。

 

在大洋彼岸,云计算成为华尔街评估科技巨头的重要板块。Amazon、Google、微软、IBM等均重兵布局云计算大数据市场。权威研究机构IDC统计数据显示,截至2015年上半年,全球公共云计算市场占有率最高的前五家服务商分别为亚马逊、微软、IBM、RackSpace和阿里云。

 

在国内市场份额第一的阿里云,也加快了全球市场布局。去年10月以来,阿里云先后扩建了位于美国西岸和香港的数据中心,未来还将美国东岸、日本、中东、欧洲等地建立新的数据中心,不断完善“全球网”布局。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
算法 数据安全/隐私保护
瓴羊出席未来数商大会,荣获“典型应用场景案例乘数榜”等两大奖
瓴羊出席未来数商大会,荣获“典型应用场景案例乘数榜”等两大奖
|
消息中间件 弹性计算 Cloud Native
估值百亿独角兽爱学习教育集团:通过云原生实践与时间赛跑
iiMedia Research(艾媒咨询)数据显示,在线教育市场规模保持逐年增长的态势,2019年在线教育市场规模已突破4000亿元。在疫情的助推下,在线教育加速渗透,市场空间有望进一步打开,预计2020年中国在线教育市场规模将达到4538亿元。
3248 25
估值百亿独角兽爱学习教育集团:通过云原生实践与时间赛跑
|
运维 供应链 搜索推荐
响铃:云计算“飞轮效应”显现,腾讯、阿里领跑没有悬念
响铃:云计算“飞轮效应”显现,腾讯、阿里领跑没有悬念
292 0
响铃:云计算“飞轮效应”显现,腾讯、阿里领跑没有悬念
|
机器学习/深度学习 人工智能 分布式计算
【云周刊】第128期:支撑千亿营收背后秘密——首届阿里巴巴研发效能嘉年华
如何保护企业代码资产,释放程序员“债务”压力?怎样向“老板拍脑袋提需求”和“PD歪歪”说NO?6月29日,首届阿里巴巴研发效能嘉年华来啦!语音识别真的比肩人类了?听听阿里iDST初敏怎么说...更多精彩技术资讯,尽在云周刊!
14085 0
|
物联网 数据挖掘 5G
揭秘:900亿5G大单全部落地,但商用初期的5G各方面都慢于4G
不论从运营商投资节奏、基站建设规模,还是从用户增速来看,5G在初期商用的两年中各方面都慢于当年4G。当然,5G对经济社会的影响力远远超过4G是没有悬念的,5G投资规模、基础设施规模和用户规模远远超过4G也没有悬念,从这个角度来看,5G大规模的投资还没有到来,5G的投资将是一个“长跑”过程。
|
机器学习/深度学习 安全 大数据
【云周刊】第173期:直击数博|阿里胡晓明:用100亿的投入撬动1000亿的脱贫效应
直击数博|阿里胡晓明:用100亿的投入撬动1000亿的脱贫效应,关于神经网络,这里有你想要了解的一切!【阿里云MVP Tech Show第7期】工业行业大数据场景化解决方案 ...更多精彩内容,尽在云周刊!
7060 0