MIT科技评论:阿里是大数据Game Changer

本文涉及的产品
数据安全中心,免费版
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 文章围绕阿里巴巴人工智能和云计算进行了大篇幅报道

image.png

11月14日,《麻省理工科技评论》(MIT Technology Review)官网刊登文章《Big Data Game-Changer: Alibaba’s Double 11 Event Raises the Bar for Online Sales》(大数据变革者:阿里双11不断提升电商标杆),文章称,不断扩张的双11全球购物节成为阿里巴巴尖端技术创新的最佳舞台。阿里双11背后的技术革新再次引起世界关注。

刚刚结束的天猫双11全球狂欢节创下全球零售史上多个新奇迹:单日成交额1207亿元,无线成交占比82%;覆盖235个国家和地区;每秒交易峰值17.5万笔,每秒支付峰值12万笔……阿里巴巴以其不断攀升的巨大收益和为消费者创造的创新零售体验为全球电子商务制定了新标杆。

文章认为阿里巴巴集团正从早期的电商企业走向世界级科技先驱。正如CTO张建锋所说,“阿里已经成为一家大数据公司”,无论是在工程能力上,还是算法能力上,阿里技术都已经达到了一个非常高的水准。

文章称,阿里巴巴大数据价值不仅体现在数量上,更体现在数据的质量上。真实的购买行为和超高维度的商品特征,再加上超强的数据处理平台,让阿里的大数据能力在双11这个超级秀场得到充分发挥。

文章还围绕阿里巴巴人工智能和云计算进行了大篇幅报道。今年双11不少消费者发现,天猫和淘宝越来越懂自己了,就像有一位贴心的导购总能带自己去快速发现心仪的宝贝,这背后的秘密就是个性化搜索和推荐引擎。阿里巴巴使用各种机器学习技术来实现人工智能,包括高维统计、在线学习、转换学习、深度学习等。它们让阿里巴巴的电商平台可以不断扩容来满足客户需求,并在图像、视频、音频识别技术上有创新突破。

阿里云首席科学家周靖人表示,阿里巴巴机器学习模型的优势来源于对亿万数据样本和特征的高效利用,阿里巴巴的服务器架构就是为了处理如此庞大的模型和数以亿计的参数而开发的。

今年6月,《麻省理工科技评论》评选出的全球最聪明50家公司中,阿里巴巴同样榜上有名。人工智能在今年双11的深度应用再次提升阿里巴巴的“聪明指数”。阿里巴巴搜索事业部负责人谷雪梅接受采访时表示,阿里巴巴将不断优化技术和算法,更精准高效地对商家供给和商品需求进行配对,最终让消费者们更满意。

与此同时,阿里巴巴在数据安全方面的工作也得到了充分肯定。文章称,阿里从数据沉淀、使用、转移、分享,直至销毁全生命周期,均制定了细致的安全标准,并向消费者保证绝不会碰触或泄露任何个人数据。

阿里巴巴继续掀起全球购物狂欢的同时,业务已超出电商范畴,努力为全球商业构建互联网时代基础设施。双11既是新技术的第一应用战场,同时也是这些技术能力普及化的开始。普华永道旗下管理咨询机构思略特(Strategy&)发布的2016年全球创新1000强研究报告显示,阿里巴巴以每年20.2亿美元研发支出问鼎中国创新榜单。

文章认为,阿里不断增加研发投入打造互联网基础设施的雄心恰恰与这家公司 “让天下没有难做的生意”的使命完美契合。

《麻省理工科技评论》为美国麻省理工学院(MIT)旗下科技媒体,侧重报道新兴科技和创新商业,专注于科技的商业化和资本化。1899年成立至今已117年,在全球147各国家拥有110万的客户,其官网每月有超过400万的浏览量,在全球科技及商业创新报道领域有相当的影响力。

以下为MIT科技评论全文报道

数据变革者:阿里巴巴双11树立电商新标杆

不断扩张的双11全球购物节成为阿里巴巴技术创新的最佳舞台,其中不乏大数据、云计算、人工智能和虚拟现实等前沿技术。

2009年开始的双11全球购物节,以其不断攀升的可观收益和为消费者创造的创新零售体验为全球的电商树立了新标杆。

2016的双11当天,阿里巴巴的电商平台实现了1207亿元(178亿美元)的交易额,超过了去年的912亿(143亿美元)。2016双11的流量也很惊人,见证了了每秒17.5万笔的交易峰值和12万笔支付峰值。相较之下,感恩节和黑色星期五2015年加起来的全美网购总额仅为45亿美元。

认识阿里巴巴

阿里巴巴集团正从一家早期的电商企业走向世界级科技先驱,它用大数据算法、复杂的互联网架构和软件、数据应用造就了双11。在充分保证数据安全的前提下,深度应用了人工智能、机器学习、虚拟现实、云计算、移动互联网等技术,让电商平台能够精确地满足商家和消费者的需求。

以“让天下没有难做的生意”为使命的阿里巴巴是由Alibaba.com(B2B), 淘宝(C2C),天猫(B2C),菜鸟(智能物流)和阿里云等业务版块组成。它用技术基础架构和市场营销渠道来帮助各类公司更好地服务网络用户和消费者。

大数据公司

阿里巴巴在大数据上下足了功夫。事实上,大数据是阿里巴巴的云计算、人工智能、智能物流、数字娱乐等的底层基础。大数据也帮助阿里巴巴建造了世界上最大的零售平台。

“阿里巴巴自我定义为一家大数据公司,”集团CTO张建锋说,“想要充分挖掘数据价值,首先需要一个坚实的基础管理数据质量,拥有先进的海量数据处理工具和场景。阿里巴巴的数据流和处理服务能够帮助各类业务从多个维度挖掘数据价值。”

张阐述了阿里巴巴高质量数据的几个关键特点:首先, 数据来自用户购物行为,更真实有用。其次,数据高度结构化,有100多个属性特征,如颜色,价格,尺寸等等,比社交平台的数据质量更高。最后,数据是全面的,每天有超过1亿用户在平台上实时沉淀好几个PB的数据。

此外,阿里巴巴也拥有能够胜任海量数据处理的强大平台。它的大数据计算平台MaxCompute在2016双11当天用分布3地的多个数据中心的数万台机器,处理了198万项计算任务,当天一共处理超过180PB的数据。与此同时,阿里巴巴的实时数据处理平台StreamCompute能处理各种线上交易并实时汇总计算GMV。这个平台最高每秒处理9500多万条记录,全天一共处理了3.7万亿条记录。

更强人工智能

阿里巴巴用创新的人工智能技术来建造“智慧”商业。个性化搜索和推荐引擎帮助电商平台更好地了解用户的喜好和意图。这些技术还可以构建完善的卖家和买家的信用系统和评价模型。今年双11,机器人承担了超过95%的客服工作。

阿里巴巴的工程师基于行为特征分析,持续改进移动端的内容和产品体验。阿里巴巴副总裁、搜索事业部负责人谷雪梅表示算法模型会分析用户在不同购物阶段的行为,从而懂得或预测用户的购物意图。然后,移动应用再将相关内容和商品推送给用户来帮助他们快速决策,由此达成更好的用户体验。

“人工智能技术是让我们的电商平台效率最优的关键。”谷雪梅说。

阿里巴巴应用各种机器学习技术来实现人工智能,包括高维统计、在线学习、转换学习、深度学习等。它们让阿里巴巴的电商平台可以不断扩容来满足客户需求,并在图像、视频、音频识别技术上有创新突破。总体来讲,这些尖端的技术共同作用,给了购物更多选择和更大便利。

阿里云首席科学家周靖人表示,阿里巴巴机器学习模型的优势来源于对亿万数据样本和特征的高效利用,阿里巴巴的服务器架构就是为了处理如此庞大的模型和数以亿计的参数而开发的。

“通过数据和模型的匹配,我们将数以亿计的模型参数分配到一大组服务器中进行平行计算,并辅以高效的容灾机制,在故障发生时能够瞬间切换到备用服务器、系统或网络。” 周靖人谈到,“我们采用了最有效的机器学习算法,这些应用产生了巨大的价值。”从千万到十亿级的海量数据特征大大提升了计算的效力。

阿里巴巴同时也越来越多专注于发展VR和AR等技术。VR用电脑3D成像让用户和拟真的图像进行互动。AR则在现实环境的基础上增加了视觉效果,给特定用户提供了一个真实、完整、专属的场景。

“我们大大加强了阿里的VR和AR生态系统”,阿里巴巴资深总监庄卓然表示,“我们正在支持更多类型的硬件和设备,不断升级购物生态,让极具创造性的3D展示和沉浸式的VR/AR互动成为可能。”

未来,阿里巴巴将利用这些技术和算法更精准地对商品和需求进行配对,持续提升用户体验,加速网络销售,最终让消费者们更满意。

云计算和网络安全能力

为了应对双十一巨大的流量和交易量,阿里巴巴运用了各种云计算技术,如弹性计算、虚拟化、实时数据处理等——都依靠世界上最大的混合云架构来实现。

“依靠阿里云的超级计算引擎飞天,我们完美保障了双11期间的网络和系统的稳定,特别是在双11凌晨的流量洪峰突袭时。”阿里巴巴资深总监吴泽明谈到。阿里巴巴的大规模容错能力,也就是在发生故障时及时补位的能力,也为所有平台提供了灵活而强大的基础建设。

阿里巴巴资深总监汤子楠表示,阿里云计算平台的战略是让中小企业能够在上面更高效运作。云计算提供了基于需求的灵活性,同时服务阿里巴巴的自有业务和外部客户。

与此同时,阿里巴巴致力于保护所有交易的客户隐私和数据安全 。“从数据的采集、使用、转移、分享直至销毁,我们为数据全生命周期制定了细致的安全标准。我们也向消费者保证,绝不会碰触或泄露任何个人数据。”CTO张建锋表示,“我们有全面额数据安全措施,用复杂的技术来处理数据分类、定级、授权、日志权限、入侵风险监控、提前预警等,确保在我们庞大的生态系统中全面保护用户隐私和数据。”

这个生态系统确实很大:包括了千万级商家,成千上万的供应商,三千多家物流公司,都在一个安全的环境中提供服务和产品。这个巨大的安全战略体系包括提前感知网络攻击、随时识别异常行为、风险案例自动追踪等能力。

向“全球的商业基础设施”迈进

天猫双11全球购物节从最早年轻人庆祝单身的“光棍节”开始,8年持续迅猛增长,为全球电商树立了新标杆。

但当阿里巴巴继续创造全球购物盛况的同时,公司也在努力去超越网络销售。“电商只是阿里巴巴战略的第一步,”张建锋说,阿里巴巴的半数员工已经在大数据云计算、人工智能、移动互联网、智能物流、数字娱乐等相关领域工作了。

“我们的终极战略是为全球商业构建未来基础设施”。这个雄心勃勃的计划,恰恰与阿里巴巴的‘让天下没有难做的生意’的核心使命完美契合。”

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
6月前
|
人工智能 数据管理 Serverless
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
449 2
|
6月前
|
人工智能 运维 Cloud Native
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
199 2
|
弹性计算 分布式计算 大数据
阿里云计算平台大数据基础工程技术论文入选 VLDB 2023
近日,在 VLDB 2023 上,由阿里云计算平台大数据基础工程技术团队主导,与计算平台 MaxCompute 团队、华东师范大学数据科学与工程学院、达摩院合作的论文入选 Industrial Track
|
6月前
|
人工智能 数据管理 大数据
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
102 2
|
3月前
|
SQL 开发框架 大数据
【数据挖掘】顺丰科技2022年秋招大数据挖掘与分析工程师笔试题
顺丰科技2022年秋招大数据挖掘与分析工程师笔试题解析,涵盖了多领域选择题和编程题,包括动态规划、数据库封锁协议、概率论、SQL、排序算法等知识点。
91 0
|
5月前
|
存储 分布式计算 专有云
MaxCompute产品使用问题之阿里公有云的数据如何迁移到阿里专有云
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
63 10
|
6月前
|
人工智能 Cloud Native 数据管理
阿里云数据库:向Serverless与AI驱动的一站式数据平台迈进
众所周知,在人工智能迅猛发展的现在,在AI驱动下的数据平台,正在向一站式、智能化的方向演进,还有就是云原生+Serverless的不断深入,一站式数据平台将让数据管理开发像“搭积木”一样简单实用,以性价比更高、体验更优的云数据库服务,助推用户业务提效增速。据悉阿里云数据库正在朝着Serverless与AI驱动的方向发展,构建一站式、智能化的数据平台,这一发展趋势将为用户提供更简单、实用的数据管理开发体验,以提高业务效率和降低成本。那么本文就来分享一下如何看待阿里云数据库的这一转变,并展望云原生和Serverless对数据管理与开发的未来带来的更多可能性。
143 1
阿里云数据库:向Serverless与AI驱动的一站式数据平台迈进
|
6月前
|
人工智能 运维 数据管理
阿里云数据库走向Serverless与AI驱动的一站式数据平台
阿里云数据库走向Serverless与AI驱动的一站式数据平台
325 2
|
6月前
|
大数据 BI
阿里十年大数据专家谈“云上数据中台之道”含内部PPT
从大数据的概念被正式提出,到马云老师预言人类正从IT时代走向DT时代,大数据浪潮迭起。大数据同仁共同认知的一点是,大数据会对社会创新、产业变革、业务创新及每个人的角色定位产生近乎决定性的影响。
|
数据采集 存储 消息中间件
《阿里大数据之路》读书笔记:总述
阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。