【阿里云资讯】MIT科技评论:阿里是大数据Game Changer

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
数据安全中心,免费版
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 11月14日,《麻省理工科技评论》官网刊登文章称不断扩张的双11全球购物节成为阿里巴巴尖端技术创新的最佳舞台。阿里双11背后的技术革新再次引起世界关注。
f337e698064cf45f725afc8788df657542c359da

阿里是大数据Game Changer

11月14日,《麻省理工科技评论》(MIT Technology Review)官网刊登文章《Big Data Game-Changer: Alibaba’s Double 11 Event Raises the Bar for Online Sales》(大数据变革者:阿里双11不断提升电商标杆),文章称,不断扩张的双11全球购物节成为阿里巴巴尖端技术创新的最佳舞台。阿里双11背后的技术革新再次引起世界关注。

刚刚结束的天猫双11全球狂欢节创下全球零售史上多个新奇迹:单日成交额1207亿元,无线成交占比82%;覆盖235个国家和地区;每秒交易峰值17.5万笔,每秒支付峰值12万笔……阿里巴巴以其不断攀升的巨大收益和为消费者创造的创新零售体验为全球电子商务制定了新标杆。

文章认为阿里巴巴集团正从早期的电商企业走向世界级科技先驱。正如CTO张建锋所说,“阿里已经成为一家大数据公司”,无论是在工程能力上,还是算法能力上,阿里技术都已经达到了一个非常高的水准。文章称,阿里巴巴大数据价值不仅体现在数量上,更体现在数据的质量上。真实的购买行为和超高维度的商品特征,再加上超强的数据处理平台,让阿里的大数据能力在双11这个超级秀场得到充分发挥。

文章还围绕阿里巴巴人工智能和云计算进行了大篇幅报道。今年双11不少消费者发现,天猫和淘宝越来越懂自己了,就像有一位贴心的导购总能带自己去快速发现心仪的宝贝,这背后的秘密就是个性化搜索和推荐引擎。阿里巴巴使用各种机器学习技术来实现人工智能,包括高维统计、在线学习、转换学习、深度学习等。它们让阿里巴巴的电商平台可以不断扩容来满足客户需求,并在图像、视频、音频识别技术上有创新突破。

阿里云首席科学家周靖人表示,阿里巴巴机器学习模型的优势来源于对亿万数据样本和特征的高效利用,阿里巴巴的服务器架构就是为了处理如此庞大的模型和数以亿计的参数而开发的。

今年6月,《麻省理工科技评论》评选出的全球最聪明50家公司中,阿里巴巴同样榜上有名。人工智能在今年双11的深度应用再次提升阿里巴巴的“聪明指数”。阿里巴巴搜索事业部负责人谷雪梅接受采访时表示,阿里巴巴将不断优化技术和算法,更精准高效地对商家供给和商品需求进行配对,最终让消费者们更满意。

与此同时,阿里巴巴在数据安全方面的工作也得到了充分肯定。文章称,阿里从数据沉淀、使用、转移、分享,直至销毁全生命周期,均制定了细致的安全标准,并向消费者保证绝不会碰触或泄露任何个人数据。阿里巴巴继续掀起全球购物狂欢的同时,业务已超出电商范畴,努力为全球商业构建互联网时代基础设施。双11既是新技术的第一应用战场,同时也是这些技术能力普及化的开始。普华永道旗下管理咨询机构思略特(Strategy&)发布的2016年全球创新1000强研究报告显示,阿里巴巴以每年20.2亿美元研发支出问鼎中国创新榜单。文章认为,阿里不断增加研发投入打造互联网基础设施的雄心恰恰与这家公司 “让天下没有难做的生意”的使命完美契合。

《麻省理工科技评论》为美国麻省理工学院(MIT)旗下科技媒体,侧重报道新兴科技和创新商业,专注于科技的商业化和资本化。1899年成立至今已117年,在全球147各国家拥有110万的客户,其官网每月有超过400万的浏览量,在全球科技及商业创新报道领域有相当的影响力。

以下为MIT科技评论全文报道

大数据变革者:阿里巴巴双11树立电商新标杆

不断扩张的双11全球购物节成为阿里巴巴技术创新的最佳舞台,其中不乏大数据、云计算、人工智能和虚拟现实等前沿技术。2009年开始的双11全球购物节,以其不断攀升的可观收益和为消费者创造的创新零售体验为全球的电商树立了新标杆。2016的双11当天,阿里巴巴的电商平台实现了1207亿元(178亿美元)的交易额,超过了去年的912亿(143亿美元)。2016双11的流量也很惊人,见证了了每秒17.5万笔的交易峰值和12万笔支付峰值。相较之下,感恩节和黑色星期五2015年加起来的全美网购总额仅为45亿美元。

认识阿里巴巴 

阿里巴巴集团正从一家早期的电商企业走向世界级科技先驱,它用大数据算法、复杂的互联网架构和软件、数据应用造就了双11。在充分保证数据安全的前提下,深度应用了人工智能、机器学习、虚拟现实、云计算、移动互联网等技术,让电商平台能够精确地满足商家和消费者的需求。以“让天下没有难做的生意”为使命的阿里巴巴是由Alibaba.com(B2B), 淘宝(C2C),天猫(B2C),菜鸟(智能物流)和阿里云等业务版块组成。它用技术基础架构和市场营销渠道来帮助各类公司更好地服务网络用户和消费者。

大数据公司

阿里巴巴在大数据上下足了功夫。事实上,大数据是阿里巴巴的云计算、人工智能、智能物流、数字娱乐等的底层基础。大数据也帮助阿里巴巴建造了世界上最大的零售平台。“阿里巴巴自我定义为一家大数据公司,”集团CTO张建锋说,“想要充分挖掘数据价值,首先需要一个坚实的基础管理数据质量,拥有先进的海量数据处理工具和场景。阿里巴巴的数据流和处理服务能够帮助各类业务从多个维度挖掘数据价值。”

张阐述了阿里巴巴高质量数据的几个关键特点:首先, 数据来自用户购物行为,更真实有用。其次,数据高度结构化,有100多个属性特征,如颜色,价格,尺寸等等,比社交平台的数据质量更高。最后,数据是全面的,每天有超过1亿用户在平台上实时沉淀好几个PB的数据。此外,阿里巴巴也拥有能够胜任海量数据处理的强大平台。它的大数据计算平台MaxCompute在2016双11当天用分布3地的多个数据中心的数万台机器,处理了198万项计算任务,当天一共处理超过180PB的数据。与此同时,阿里巴巴的实时数据处理平台StreamCompute能处理各种线上交易并实时汇总计算GMV。这个平台最高每秒处理9500多万条记录,全天一共处理了3.7万亿条记录。

更强人工智能

阿里巴巴用创新的人工智能技术来建造“智慧”商业。个性化搜索和推荐引擎帮助电商平台更好地了解用户的喜好和意图。这些技术还可以构建完善的卖家和买家的信用系统和评价模型。今年双11,机器人承担了超过95%的客服工作。阿里巴巴的工程师基于行为特征分析,持续改进移动端的内容和产品体验。阿里巴巴副总裁、搜索事业部负责人谷雪梅表示算法模型会分析用户在不同购物阶段的行为,从而懂得或预测用户的购物意图。然后,移动应用再将相关内容和商品推送给用户来帮助他们快速决策,由此达成更好的用户体验。

“人工智能技术是让我们的电商平台效率最优的关键。”谷雪梅说。阿里巴巴应用各种机器学习技术来实现人工智能,包括高维统计、在线学习、转换学习、深度学习等。它们让阿里巴巴的电商平台可以不断扩容来满足客户需求,并在图像、视频、音频识别技术上有创新突破。总体来讲,这些尖端的技术共同作用,给了购物更多选择和更大便利。 

阿里云首席科学家周靖人表示,阿里巴巴机器学习模型的优势来源于对亿万数据样本和特征的高效利用,阿里巴巴的服务器架构就是为了处理如此庞大的模型和数以亿计的参数而开发的。

“通过数据和模型的匹配,我们将数以亿计的模型参数分配到一大组服务器中进行平行计算,并辅以高效的容灾机制,在故障发生时能够瞬间切换到备用服务器、系统或网络。” 周靖人谈到,“我们采用了最有效的机器学习算法,这些应用产生了巨大的价值。”从千万到十亿级的海量数据特征大大提升了计算的效力。

阿里巴巴同时也越来越多专注于发展VR和AR等技术。VR用电脑3D成像让用户和拟真的图像进行互动。AR则在现实环境的基础上增加了视觉效果,给特定用户提供了一个真实、完整、专属的场景。“我们大大加强了阿里的VR和AR生态系统”,阿里巴巴资深总监庄卓然表示,“我们正在支持更多类型的硬件和设备,不断升级购物生态,让极具创造性的3D展示和沉浸式的VR/AR互动成为可能。” 

未来,阿里巴巴将利用这些技术和算法更精准地对商品和需求进行配对,持续提升用户体验,加速网络销售,最终让消费者们更满意。

云计算和网络安全能力  

为了应对双十一巨大的流量和交易量,阿里巴巴运用了各种云计算技术,如弹性计算、虚拟化、实时数据处理等——都依靠世界上最大的混合云架构来实现。“依靠阿里云的超级计算引擎飞天,我们完美保障了双11期间的网络和系统的稳定,特别是在双11凌晨的流量洪峰突袭时。”阿里巴巴资深总监吴泽明谈到。阿里巴巴的大规模容错能力,也就是在发生故障时及时补位的能力,也为所有平台提供了灵活而强大的基础建设。

阿里巴巴资深总监汤子楠表示,阿里云计算平台的战略是让中小企业能够在上面更高效运作。云计算提供了基于需求的灵活性,同时服务阿里巴巴的自有业务和外部客户。

与此同时,阿里巴巴致力于保护所有交易的客户隐私和数据安全 。“从数据的采集、使用、转移、分享直至销毁,我们为数据全生命周期制定了细致的安全标准。我们也向消费者保证,绝不会碰触或泄露任何个人数据。”CTO张建锋表示,“我们有全面额数据安全措施,用复杂的技术来处理数据分类、定级、授权、日志权限、入侵风险监控、提前预警等,确保在我们庞大的生态系统中全面保护用户隐私和数据。” 

这个生态系统确实很大:包括了千万级商家,成千上万的供应商,三千多家物流公司,都在一个安全的环境中提供服务和产品。这个巨大的安全战略体系包括提前感知网络攻击、随时识别异常行为、风险案例自动追踪等能力。 

向“全球的商业基础设施”迈进

天猫双11全球购物节从最早年轻人庆祝单身的“光棍节”开始,8年持续迅猛增长,为全球电商树立了新标杆。但当阿里巴巴继续创造全球购物盛况的同时,公司也在努力去超越网络销售。“电商只是阿里巴巴战略的第一步,”张建锋说,阿里巴巴的半数员工已经在大数据云计算、人工智能、移动互联网、智能物流、数字娱乐等相关领域工作了。

“我们的终极战略是为全球商业构建未来基础设施”。这个雄心勃勃的计划,恰恰与阿里巴巴的‘让天下没有难做的生意’的核心使命完美契合。”


本文转载自  阿里技术   原文链接
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
15天前
|
人工智能 分布式计算 DataWorks
连续四年!阿里云领跑中国公有云大数据平台
近日,国际数据公司(IDC)发布《中国大数据平台市场份额,2023:数智融合时代的真正到来》报告——2023年中国大数据平台公有云服务市场规模达72.2亿元人民币,其中阿里巴巴市场份额保持领先,占比达40.2%,连续四年排名第一。
62 12
|
21天前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
116 17
|
14天前
|
SQL 人工智能 大数据
首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位!
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准 GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
|
15天前
|
SQL 人工智能 大数据
阿里云牵头起草!首个大数据批流融合国家标准发布
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
48 1
|
1月前
|
存储 SQL 分布式计算
Java连接阿里云MaxCompute例
要使用Java连接阿里云MaxCompute数据库,首先需在项目中添加MaxCompute JDBC驱动依赖,推荐通过Maven管理。避免在代码中直接写入AccessKey,应使用环境变量或配置文件安全存储。示例代码展示了如何注册驱动、建立连接及执行SQL查询。建议使用RAM用户提升安全性,并根据需要配置时区和公网访问权限。具体步骤和注意事项请参考阿里云官方文档。
|
1月前
|
机器学习/深度学习 数据可视化 大数据
阿里云大数据的应用示例
阿里云大数据应用平台为企业提供高效数据处理与业务洞察工具,涵盖Quick BI、DataV及PAI等核心产品。DT203课程通过实践教学,帮助学员掌握数据可视化、报表设计及机器学习分析技能,提升数据驱动决策能力。Quick BI简化复杂数据分析,DataV打造震撼可视化大屏,PAI支持全面的数据挖掘与算法应用。课程面向CSP、ISV及数据工程师等专业人士,为期两天,结合面授与实验,助力企业加速数字化转型。完成课程后,学员将熟练使用阿里云工具进行数据处理与分析。[了解更多](https://edu.aliyun.com/training/DT203)
|
2月前
|
存储 分布式计算 大数据
大数据革新在即,阿里云EMR如何布局DeltaLake引领行业潮流?
【8月更文挑战第26天】大数据时代,实时处理与分析能力对企业至关重要。Delta Lake 作为高性能、可靠且支持 ACID 事务的开源存储层,已成为业界焦点。阿里云 EMR 深度布局 Delta Lake,计划深化集成、强化数据安全、优化实时性能,并加强生态建设与社区贡献。通过与 Spark 的无缝对接及持续的技术创新,阿里云 EMR 致力于提供更高效、安全的数据湖解决方案,引领大数据处理领域的发展新方向。
36 3
|
2月前
|
存储 分布式计算 监控
揭秘阿里云EMR:如何巧妙降低你的数据湖成本,让大数据不再昂贵?
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务,助力企业优化数据湖的成本效益。它提供弹性计算资源,支持根据需求调整规模;兼容并优化了Hadoop、Spark等开源工具,提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具,EMR简化了数据湖构建与管理流程,实现了数据的统一化治理。此外,EMR还支持OSS、Table Store等多种存储选项,并配备监控优化工具,确保数据处理流程高效稳定。通过这些措施,EMR帮助企业显著降低了数据处理和存储成本。
64 3
|
2月前
|
存储 分布式计算 大数据
阿里云 EMR 强势助力,与阿里云大数据体系共创辉煌,把握时代热点,开启生态建设之旅
【8月更文挑战第26天】阿里云EMR(Elastic MapReduce)是一种大数据处理服务,与阿里云的多个服务紧密结合,共同构建了完善的大数据生态系统。EMR与对象存储服务(OSS)集成,利用OSS提供可靠、低成本且可扩展的数据存储;与MaxCompute集成,实现深度数据分析和挖掘;还支持数据湖构建服务,加速数据湖的搭建并简化数据管理与分析过程。EMR提供多种编程接口及工具,如Hive、Spark和Flink等,帮助用户高效完成大数据处理任务。
42 2
|
2月前
|
机器学习/深度学习 分布式计算 BI
MaxCompute 与阿里云其他服务的协同工作
【8月更文第31天】在当今的数据驱动时代,企业需要处理和分析海量数据以获得有价值的洞察。阿里云提供了一系列的服务来满足不同层次的需求,从数据存储到高级分析。MaxCompute(原名 ODPS)作为阿里云的大规模数据处理平台,提供了强大的计算能力和丰富的功能,可以与阿里云的其他服务无缝集成,形成完整的大数据解决方案。本文将探讨 MaxCompute 如何与其他阿里云服务协同工作,包括存储服务 OSS、数据分析服务 Quick BI 以及机器学习平台 PAI。
28 0

热门文章

最新文章