58.3万笔/秒!看阿里的黑科技

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 11月11日0点刚过26秒,天猫双11的订单创建峰值就达到58.3万笔/秒,阿里云又一次扛住全球最大规模流量洪峰!58.3万笔/秒,这一数字是2009年第一次天猫双11的1457倍。数字的背后,隐藏着阿里巴巴很多不为人知的技术创新和突破,乃至世界顶尖技术。今天,阿里妹就来和大家分享阿里巴巴天猫双11背后的黑科技!

004.JPG

11月11日0点刚过26秒,天猫双11的订单创建峰值就达到58.3万笔/秒,阿里云又一次扛住全球最大规模流量洪峰!58.3万笔/秒,这一数字是2009年第一次天猫双11的1457倍。

数字的背后,隐藏着阿里巴巴很多不为人知的技术创新和突破,乃至世界顶尖技术。今天,阿里妹就来和大家分享阿里巴巴天猫双11背后的黑科技!

天猫双11十二年,阿里商业操作系统迈向数字原生时代

全社会参与的2020双11,已成为全球超大规模数字创新工程,支撑2020双11的,是全新的阿里巴巴数字原生商业操作系统。

数字原生,包含云原生、AI原生、区块链原生、IoT原生、5G原生等新技术。数字原生商业操作系统,夯实了以云计算为代表的基础设施层,打通了业务、数据、智能、协同在内的数字创新中台层,进而实现上层全链路商业要素的全面在线化与数字化。数字原生商业操作系统,以工具化和产品化的能力加速商业要素流通,实现了标准化、模块化组装的技术搭建方式,不仅能极大提升效率,还将为社会打开更多创新空间,让更多商业新物种涌现。

image.png

2020天猫双11业务的核心系统完成了从“上云”到“云上”的架构升级

全面实现云原生上云,并通过大规模使用包括容器服务ACK、数据库PolarDB、Redis、消息RocketMQ、微服务 EDAS、监控ARMS等在内的云原生产品,获得成本、稳定性和研发运维效率提升的红利。与此同时,双11大促的业务场景也成为阿里云云原生技术与产品优势的锤炼场,为阿里云客户创造更大价值。数据库核心全面云原生化,资源利用率提高60%。

阿里巴巴发布2020天猫双11十大前沿技术

2020双11是史上最具科技含量的一届双11。大规模运用于2020双11的十大前沿技术中,包括正式上岗的物流机器人小蛮驴、支持214种语言的直播实时翻译、一年省电7000万度的液冷数据中心、全面云原生化的阿里核心系统…既有基于数字技术的原生商业创新,也有引领时代的基础技术突破。

十大前沿技术中,商业AI深入生产制造、购物消费、物流配送各个环节,让今年双11走向智能化。在生产制造环节,“工业视觉AI”已经在多家纺织服装工厂上线,可自动完成原料、坯布、成品布、成衣全生产环节的质检工作,小到头发丝直径10分之一大小的瑕疵都能精准识别,识别准确率90%以上,远超人类水平,效率大幅提升5倍,推动双11生产制造提速。

image.png

直播间里的每一秒都是技术人的骄傲

平台必须在1秒内将主播声音、画面和商品信息同步给分布范围极广的百万级消费者,确保后者获得一致的、实时的、高水平的音视频体验,以及商品交易(尤其是秒杀)的可信度。与此同时,同样的问题也在进入直播间、完成购买交易、抢红包/点赞为代表的大规模实时高并行度的内容电商互动中存在。

为了进一步优化消费者体验,降低延时,阿里巴巴非常重视在音视频技术领域的投入,涉及领域包括音视频通话、低延迟直播、S265编解码器、实时智能调度、自学习参与体系等多个方面,特别是在2020双11 将GRTN 新一代多媒体传输网络“首次大规模应用于直播电商带货”。将直播延时由过去的3-5秒降低到1秒以内,极低的互动延时带来了直播内容和互动体验上质的提升,在消费者和主播之间形成了更好的互动效果。

AI虚拟主播现身淘宝直播间,上岗天猫双11

双11前夕,阿里AI虚拟主播现身淘宝直播间,替代真人主播“上岗”双11。该虚拟主播形神兼备,声音、情绪、动作逼近真人,不仅能听会说,与千万观众对答如流,还会跳舞、Rap,完成各种复杂动作。

image.png

认知智能引擎助力消费者更好地选选选,新货好货成爆款!

今年双11前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次,消费者兴趣宽度显著拓展,各类商家机会趋于多样,新商品孵化周期正在缩短。

此外,各类基础智能科技已在淘宝大规模应用,日调用量也在数千亿次。在视觉AI领域,拍立淘目前支持数亿商品对应的图片和视频检索;自然语言学习(NLP)、实时机器翻译、语义识别等技术,也在店小蜜、实时翻译、商品评价分析等关键链路使用。

在信息搜索、推荐和营销领域,传统机器学习机制会不断拟合用户行为。认知智能则能提供更好的发现性、丰富性。智能技术像水一样在阿里经济体流淌,认知智能引擎助力消费者更好地选选选,新货好货成爆款!

手机淘宝无障碍再升级,听障用户体验直播实时字幕

直播已成为热搜的新宠儿,为了让听障用户平等地使用这种购物社交方式,手淘信息无障碍团队联合淘系技术直播团队和达摩院语音实验室,基于ASR技术,实时将主播语音转换成实时字幕显示在手机上。让听障朋友第一次“听”到了李佳琦的“OMG!买它!买它!”。

业务平台:史上最多业务通过中台参与天猫双11,助力大促如丝般顺滑

为保障双峰之下的交易链路平稳顺滑,高效稳定,阿里巴巴业务平台通过全链路系统优化和保障预案,持续提升任务异步调度性能,降低资源成本。在助力淘宝天猫主站实现红包合并、直播秒杀、淘宝零钱等大促新玩法的基础上,还顺利支持第一次通过中台参与双11的本地生活、银泰、考拉等业务实现经济体大促业务共振,提升消费者整体购物体验。

同时,基于产品化的思路,今年业务平台还将大促能力数字化、自动化、和智能化的开放给更多业务部门,使得各前台业务团队可以精准核算大促容量需求,许多部门只需一个人,就能够张罗起大促数据预热等关键大促工作,大幅降低了人员和时间的投入。

全新动能:新一代数据计算处理框架——“流批一体”

今年双11,阿里数据中台将通过最新的数据技术和更深刻的数据理解为业务创新提供动能。其中,新一代数据计算处理框架——“流批一体”将在内部小二端大规模应用。

过去双11期间,阿里小二们想要进行诸如“跟往年相比哪些商品和渠道的表现更好?”等多维度、大批量的深度分析,这些看似简单的运营分析,背后涉及到的是大量数据计算和多维交叉分析,这些都需要大量的时间成本来实现。新一代的数据技术处理框架——“流批一体”,实现了“全链路、全维度、全实时”的数据处理分析,可以帮助阿里小二们及时发现问题、分析问题,实现实时运营决策。

“流批一体”在技术上,实现了哪怕是多个计算处理模式,也只需要撰写一套代码就能兼容。在计算速度上比其他框架快1倍、查询快4倍,给小二们搭建数据报表提升了4-10倍的速度。同时,由于“一体化”的特性,能实现实时与离线数据的完全一致。

在今年史上数据量最大的情况下,新一代数据计算处理框架——“流批一体”直接节省了一半的资源成本,真正实现了“快、准、省”。

MaxCompute以国内最大规模的计算能力,为阿里经济体天猫双11保驾护航

MaxCompute支持双11场景下的海量数据高并发计算,预计2020计算同比增长超50%。其中,单日数据计算量将在2017年300PB、2018年600PB、2019年900PB的持续增长之后,在今年双11突破EB级。单日计算任务将在2017年300万、2018年500万、2019年900万之后,超过千万。

云原生实时数仓首次在天猫双11核心数据场景落地

实时计算Flink+ MaxCompute交互式分析(Hologres)实时数仓实现商业全链路实时化,毫秒级海量数据处理能力,为商家和消费者带来了更加智能的消费体验。为应对双11大促流量洪峰提供了强有力的保障,支持的业务包括双11实时直播间、智能推荐、阿里妈妈数据平台、国际站数据平台、菜鸟数据平台、友盟+全域数据分析、CCO智能客服、新零售数据平台、考拉、饿了么等业务。

前端智能化设计稿生成代码,助力十余BU智能研发, 自动生成90.4%双十一会场新模块

前端智能化助力前端研发模式升级,设计稿生成代码技术体系升级(如对UI多态、直播视频组件、循环的智能识别增强等),多个部门共建前端设计稿识别算法模型和数据集,双11会场大规模应用,营销模块研发链路产品化升级,双11会场有90.4% (高于去年)新模块的代码是自动生成的;尽可能去除设计稿约束,增加约束智能检查等升级,无人工辅助的情况智能生成的代码被保留发布上线的代码占比79.26%;相比传统模块开发模式,固定人力单位时间模块需求吞吐量增加约1.5倍,使用设计稿生成代码技术后编码效率(模块代码复杂度和研发耗时的比值)提升68%。

AlibabaWood助力天猫双11

AlibabaWood是一款高效智能制作商品短视频的工具,它具备便捷、灵活、智能3个核心特点。AlibabaWood可帮助用户1分钟即可生成1个商品短视频,将极大缩短用户的处理时间,提供用户的工作效率。

该工具由阿里巴巴达摩院人机自然交互实验室、机器智能技术人工智能中心DesignAI、阿里云智能业务联手打造,融合电商视频设计与人工智能,能够对商品内容进行智能理解,然后自动为商品编写剧本,添加镜头,书写文案,并搭配风格匹配的音乐,自动剪辑出具备故事性的电商短视频。

智能客服会打“视频电话”了,提供多模态交互服务

热线小蜜2020双11的外呼目标是当天外呼规模1000w+,期间日均300w+。呼入目标是全月满意度平均60%,日均转人工量5.4w。

热线小蜜今年双11上线了多模态交互服务能力,能够接听用户的视频电话了。针对大促满意度低的活动介绍、购买指南等场景,热线小蜜试点音画同步多模态交互服务。这项功能将对部分用户开放,用户在手淘等应用上选择多模态呼叫,就能跟机器人建立视频聊天,视频界面主要用来展示与聊天话题相关的内容,比如当用户问询大促活动规则、红包使用方法等等,小蜜可以对照画面,手把手教用户找到对应的接口,告知使用规则,大大缓解过去语音电话效率低的问题。

小蜜的多模态升级是基于达摩院的语音主动对话平台SPD(spoken positive dialogue)平台打造,借助达摩院的多模态对话交互能力实现。能够拨打视频电话的智能客服,未来应用空间广泛,包括在线电商导购、私人生活助理等等。

“有电的地方就有阿里巴巴内网”

今年双11,企业智能事业部的网络工程师们自研了一个5G盒子。在没有网络的情况下,只需要插上盒子,员工就能连接到无线网络,而且是内网环境,不需要部署宽带,也不用员工在进行连接内网的操作。一场活动可节省数万成本。此外,通过该盒子,还可以直接进行无线投屏等操作,进一步提升办公体验与效率。目前这一设备已运用在天猫直播盛典等双11大型活动现场。

image.png

天猫双11网络保障:首次运用空中“光缆”

在阿里西溪园区首次使用目前业界最先进的无线电超高频传输技术进行网络灾备,在各作战室的上空拉起了一条条“无线光缆”,再也不怕路面线路被挖断或者老鼠咬断,确保小二们的网络稳定传输。

数字供应链多层级跨境仓发网络构建

双十一前,数字供应链事业部为Lazada搭建了多层次跨境仓发供应链解决方案,商家可以按品类特性灵活选择(国内中心仓、区域自贸仓eWTP、本地仓FBL)备货,覆盖东南亚六国消费群体,系统自动根据消费者地址及库存水位选择合适的仓库自动履约发货,集成菜鸟和Lazada头程、海关、干线、落地配能力,帮助商家解决跨境仓储物流挑战,提升消费者服务时效水平。

国内首家企业联合海关完成全链路压测,重点保障进口保税高峰值通关稳定性

本次双11,菜鸟做为国内首家企业联合海关实现全链路压测方案的落地,通过模拟峰值,海关内部系统完成10+升级优化。11月1日上午6时33分,海关全链路整体稳定,消费者当天购买的双11进口订单,已经有1000W单顺利清关,这一速度比2019年双11当天大幅提前了2小时14分,提速25%,这些包裹已经陆续进入配送环节,最快可以当日送达。

从中国数字化到全球数字化,菜鸟为东南亚11国装上“物流大脑”迎战天猫双11

今年双11,菜鸟的数字化物流技术首次走向全球。除中国外,菜鸟还在印尼、马来西亚、新加坡、越南、泰国、菲律宾、巴基斯坦、尼泊尔、缅甸、孟加拉国、斯里兰卡等11个国家,建设统一的物流技术中台,为东南亚物流装上了“眼睛”和“大脑”。

全国150城装配了菜鸟创新IoT装备,为行业赋予了降本增效的新生产力

本次双11,菜鸟IoT迎来了第一次大规模助力行业数字化的升级。在仓储、快递、国际、零售通等物流场景,配置了数万台LEMO系列产品,预计期间将支持亿级包裹的生产操作。在驿站场景,无人取件机、小盒、自提柜等产品覆盖150城,为消费者取件节省15万小时。同时,上万台的裹裹寄件机,将为消费者提供全新的自助寄件体验。

小蛮驴上岗了!阿里物流机器人将承包浙大菜鸟驿站天猫双11包裹配送

出生不到两个月,阿里巴巴的物流机器人小蛮驴就上岗营业了。10月30日,由小蛮驴领衔的22个物流机器人进入浙江大学紫金港校区。今年双11,阿里将在浙大打造全球首个纯机器人送货点位,由机器人承担浙大菜鸟驿站3万多件包裹的送货上门服务。

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
弹性计算 Serverless 双11
双十一的狂欢
双十一的狂欢
|
双11
天猫双11首日“战报”
102个品牌1小时成交额过亿
天猫双11首日“战报”
|
人工智能 弹性计算 自然语言处理
双十一1682亿的背后,引人深思
双十一1682亿的背后,引人深思
170 0
双十一1682亿的背后,引人深思
|
人工智能 自然语言处理 供应链
618的亿级流量大考,京东云靠什么交上满分答卷?
要走近并深入认识京东云,刚刚过去的「618 大考」可能是最好的观察机会。
167 0
618的亿级流量大考,京东云靠什么交上满分答卷?
|
存储 移动开发 JavaScript
揭秘 vivo 如何打造千万级 DAU 活动中台 - 启航篇
悟空活动中台作为vivo移动互联网首选的在线制作活动平台,有哪些关键能力支撑了它?本文作为开篇将为大家揭晓vivo活动中台的能力与创新。
2037 0
|
新零售 人工智能 大数据
阿里云与天猫双11这十年
2009年,发生了两件看似不起眼的事。 初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。 同年11月11日,淘宝商城启动了一个叫做双11的促销活动。 谁也没想到,多年以后他们会是现在这模样。
3681 0
|
数据可视化 前端开发 定位技术
|
新零售 双11 云计算
备战双十一 找阿里云的不光天猫淘宝
本文讲的是备战双十一 找阿里云的不光天猫淘宝【IT168 云计算】一年一度的双11在各大电商的暴风雨般的宣传阵仗下如期而至,记者昨日的朋友圈已被天猫双十一的交易量与双十一晚会一度刷屏。据天猫方面透露,零点钟声一过,短短的12分零28秒,天猫的销售额就突破了百亿人民币。
2781 0
|
存储 编解码 算法
双11:阿里视频云ApsaraVideo是怎样让4000万人同时狂欢的?
在今年的双11中,全球直播狂欢夜成为了一大亮点。除了内容的大规模涌现,背后其实是计算,存储,带宽的升级和成本的下降。而ApsaraVideo的出现,让直播的技术门槛更是迅速下降,可以使企业快速的上线自己的视频业务。
6167 0
|
Java 物联网 程序员
【云周刊】第194期:阿里云与天猫双11这十年
阿里云与天猫双11这十年,当Kubernetes应用遇到阿里分批发布模式,飞天技术汇第37期:阿里云MongoDB4.0全新升级发布会...更多精彩内容,尽在云周刊!
3911 0
下一篇
无影云桌面