Hadoop 这样业界顶级的大规模数据处理平台,均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 写这篇文之前想起一个段子:“你在干嘛?”“我在王健林这儿跟马云谈生意。”“说人话!”“我在万达广场逛无聊了坐着拿手机淘宝……” 所以,本来开篇想说上周到马云那里聊了会最新的云计算技术,想想还是不那么得瑟,老实交代吧,上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。

写这篇文之前想起一个段子:“你在干嘛?”“我在王健林这儿跟马云谈生意。”“说人话!”“我在万达广场逛无聊了坐着拿手机淘宝……”


所以,本来开篇想说上周到马云那里聊了会最新的云计算技术,想想还是不那么得瑟,老实交代吧,上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。马云当然是没见着,据说马老师刚好到武汉去了,当然大家都心里有数,马老师就算刚好没去武汉估计也会刚好有什么其它事情无暇分身滴。出席研讨的阿里方最高级别干部是阿里云副总裁金戈先生,聊得最多的是出自NUDT的同门小师弟,现为阿里云业务架构师的潘旻喆。


42ebabab757c6e67de490775e720f8808048b758


说说本次阿里之行最大的感受,就是阿里搞接待的妹子都特么漂亮,阿里真正最强大的技术其实并不在于淘宝、天猫又或是支付宝,而是云计算。话说云计算这个概念已经火了好几年了,但是如何跟业外人士解释清楚仍然是个问题。今天我来尝试一下。嗯,咱们先从双十一说起,这个大家都熟,就是阿里最先炒作起来的购物狂欢节,2016年的双十一,天猫又创下了单日交易额1207亿的新纪录,这个很多媒体都曾报道过。但是,在这背后,另外一组数据关注的人就少多了,比如这一天共计产生6.57亿个物流订单,交易峰值达到每秒17.5万笔,支付峰值是每秒12万笔,而用户是来自全球220个国家和地区。这意味着多么强悍的数据处理能力!如果对这个数字没有感觉,咱们可以对比一下,铁道部官方售票网站12306有据可查的是2015年春运高峰期每天平均售票456.5万张,也就相当于天猫双十一不到1分钟的支付量,但前几年动不动就卡成狗。从2012年起每一年铁道部都信誓旦旦今年作了若干升级保证用户体验完全不一样,然并卵……




这么一对比,大家是否就有感觉了?而在背后能够支撑起双十一这样超恐怖海量数据处理能力的技术,就是云计算。

2009年的时候,阿里的数据中心还是采用IOE架构,嗯,IOE是传统IT三大件,指以 IBM 、Oracle、EMC 为代表的小型机、数据库和高端存储的技术架构。实践中阿里逐渐发现这样越来越不行,一方面维护更新成本极高,钱都让米国人赚去了;另一方面Oracle这种集中式数据库的架构,也越来越不适应海量数据对计算能力的巨大需求。所以在业界第一个提出“去IOE” 。随后又先后尝试采用 Greenplum 和 Hadoop 这样业界顶级的大规模数据处理平台,均发现还是满足不了类似双十一这样全世界的剁手党蜂拥而至的热情,然后才终于决心发展出完全自主可控的MaxCompute(原ODPS)(大规模数据处理平台)https://www.aliyun.com/product/odps,真正实现全栈数据处理能力。




也就是说,目前阿里的云计算技术不但具备完全自主知识产权,更关键的是它是在应对淘宝、天猫、支付宝这样日益增长的海量数据处理包括“双十一”这样严酷考验中成长起来的,这样的实战经验是其它绝大多数厂商所完全不能比拟的。所以,阿里云能够以50%的市场占有率成为国内公有云的一哥,也就绝非侥幸了。附带提一下,2017年春运时候12306网站后台查询数据库已经搬到阿里云上了,所以今年网购火车票终于没有再抽风了。

嗯,我们这次研讨会主题是这个:



事实上,无论大数据、人工智能、虚拟现实等等所有下一代互联网的风口方向,其背后都需要云计算技术来支撑。而很多专家认为,新经济的实质是互联网经济,互联网经济的本质是计算经济,计算经济的基石仍然是云计算。这么说,业外朋友应该能理解,为什么说云计算牛,才是真的牛了吧?

话说马云搞阿里巴巴之前创业也失败了四次,所以我虽然知道淘宝和支付宝已经成为行业的巨无霸,和大众的生活息息相关,但心下总不免认为主要是马云终于抓住了市场机遇,快人一步而已。然而这次看到阿里在云计算上面展现的强大实力,才真正是令人叹服。上周5月18日阿里发布的财报显示,阿里已经超越了腾讯,成为国内市值最高的上市公司。而云计算技术的领先,足以保证接下来至少十年,阿里行业巨无霸的地位仍然无可撼动。

所以这一次虽然木有见到马云,不过我真的还是被阿里圈粉了。其实阿里的企业文化也有很多独到之处,限于篇幅这次就不扯了。


文章转载自云羽花园


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
存储 分布式计算 Hadoop
Hadoop:开启大规模数据处理的新时代
在当今数字化时代,大规模数据处理成为企业和组织不可或缺的一环。Hadoop作为一个强大的分布式计算框架,为我们提供了处理海量数据的能力,它的概念与实践不仅改变了数据处理的方式,更为未来数据驱动型决策提供了无限可能。本文将深入探讨Hadoop的核心概念、架构以及实践应用,带您进入大数据时代的新篇章。
|
3月前
|
存储 分布式计算 资源调度
Hadoop入门基础(三):如何巧妙划分Hadoop集群,全面提升数据处理性能?
Hadoop入门基础(三):如何巧妙划分Hadoop集群,全面提升数据处理性能?
|
3月前
|
分布式计算 Hadoop 大数据
Spark 与 Hadoop 的大数据之战:一场惊心动魄的技术较量,决定数据处理的霸权归属!
【8月更文挑战第7天】无论是 Spark 的高效内存计算,还是 Hadoop 的大规模数据存储和处理能力,它们都为大数据的发展做出了重要贡献。
83 2
|
5月前
|
分布式计算 Hadoop 存储
|
4月前
|
存储 分布式计算 Hadoop
阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合:构建高效、可扩展的数据处理平台
技术持续创新:随着新技术的不断涌现和应用场景的复杂化,阿里巴巴将继续投入研发力量推动技术创新和升级换代。 生态系统更加完善:Hadoop生态系统将继续扩展和完善,为用户提供更多元化、更灵活的数据处理工具和服务。
|
4月前
|
存储 分布式计算 并行计算
使用Hadoop构建Java大数据分析平台
使用Hadoop构建Java大数据分析平台
|
6月前
|
新零售 分布式计算 数据可视化
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
|
6月前
|
分布式计算 资源调度 Hadoop
Apache Hadoop入门指南:搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用,并引导初学者了解Hadoop的基本概念、核心组件(HDFS、YARN、MapReduce)及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境,学习者可掌握基本操作。此外,文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性,旨在为读者提供Hadoop入门指导,助其踏入大数据处理的旅程。
895 0
|
分布式计算 Hadoop Java
Hadoop生态系统中的流式数据处理技术:Apache Flink和Apache Spark的比较
Hadoop生态系统中的流式数据处理技术:Apache Flink和Apache Spark的比较
|
消息中间件 存储 分布式计算
Hadoop生态系统中的实时数据处理技术:Apache Kafka和Apache Storm的应用
Hadoop生态系统中的实时数据处理技术:Apache Kafka和Apache Storm的应用
下一篇
无影云桌面