淘系技术,实力为2019年双11而战!稳!

简介: 2019 天猫双 11 全球狂欢节96秒成交额破百亿,24小时总成交额2684亿,创造了交易创建峰值 54.4万笔/秒的历史记录。天猫双11,已经不仅是购物节,也是品牌成长节、消费者互动节。天猫双11更是是商业的奥林匹克。每一年的双11,零点交易的数字都在不断提升,而淘系技术的突破和创新远不止与此,我们将持续以技术驱动产品和商业创新。2020,我们精彩继续!

image.png

2019 天猫双 11 全球狂欢节96秒成交额破百亿,24小时总成交额2684亿,创造了交易创建峰值 54.4万笔/秒的历史记录。天猫双11,已经不仅是购物节,也是品牌成长节、消费者互动节。天猫双11更是是商业的奥林匹克。

今年,双11走到了第11个年头,史无前例的,阿里经济体内有49支技术团队共同参与作战,也是第一次,双11的核心系统将100%跑在云上,这无疑让今年的双11技术作战充满了更大的挑战。

正如2019年双11技术团长平畴(汤兴)说的“「善战者,无智名,无勇功」,这是我们技术人最高的境界”。

我们一起捍卫了阿里技术人的荣耀,一个字 “稳”!

image.png

年年双11,回回新玩法,“在吗,盖楼吗?”成为了好友聊天的日常,每天蹲守等待淘宝直播的你是否也体会到了“真香定律”?而背后支撑如此大体量用户的淘系如何保障技术和业务的“丝般顺滑”?给大家带来今年双11最新最快的核心技术解读。

直播内容生态技术

今年淘宝直播已经促进了年度千亿级别的成交,阿里巴巴副总裁平畴表示“淘宝直播的内容模式,将一直引领消费的生活方式和消费重点,成为未来商业模式的主流”

2019 年双 11 直播已成为淘宝内容生态里程碑式的节点,其意义可对标 2015 年的淘宝无线化,所有的业务板块都在利用网红主播的巨大粉丝效应来放大品牌影响力,同时利用个性化的实时互动创造了新的内容运营模式。淘宝直播作为电商生态中新媒体、新内容、新生态的典型产品,不仅是承接链接用户和品牌的人货场,更多的是代表一种面向未来聚焦用户的新运营业态。

image.png

直播业务系统架构

直播体验的关键在于观看,但传统直播在弱网下、移动场景均存在固有缺陷导致画质不佳、频繁卡顿,同时传统直播中心化的分发模式成本也难以降低,多级分发的机制更是对优化时延提出挑战,均对用户体验带来诸多不利影响。淘宝直播基于以上问题,自研了全新的音视频实时通信引擎,去中心化设计,支持横向级联,实现了大规模低延时直播,时延从原先 5-7 秒降低至 1 秒内,并在弱网下有更好的表现。核心技术点包括:边缘接入、最佳路由、下行网络保障。

直播开放体系

直播生态存在多种参与角色,包括达人、商家、机构、平台、用户;需要针对不同的角色来设计差异化的商业变现手段,2019 年淘宝直播全面升级开放体系,目前已支持微博、UC、优酷等多端通过开放体系接入淘宝直播,实现了内容在多平台随时开播的能力。

其次,直播核心是粉丝经济,需要设计一套从新粉、铁粉、钻粉、挚爱会员亲密度体系来提升用户粘性,进而给主播提供更细粒度会员营销能力。今年双11基于淘宝直播的开放体系提供了多种灵活的营销玩法,并打通了招商系统、权益互动体系,提供了一站式的实时用户互动平台,赋能业务赋能商家。

智能直播商品识别

在内容 AI 领域,利用端侧算法识别主播讲解的商品,将直播内容结构化,进而将实时内容转为离线的带有商品语义的视频切片,提升了直播在长尾分发的效果和规模,促进了用户的进店率、购买转化率。技术上来看,直播商品识别,本质上是一个视频到图像的小库跨域实时检索问题,从query信息比较明显的服饰场景切入,通过目标检测,逐渐细化可能的query目标主体,并对主体进行检索,主要的任务先检测人、检测衣服,然后检测视频帧主体到商品图像检索。目前已经实现了淘宝天猫服饰场景的全覆盖。

未标题-14.gif

智能 Push 技术

面对用户不断差异化的购物需求,手淘不断进行了全面升级,打造了个性化的用户购物体验。

依赖端智能的计算能力,我们在业界首次打造了云/端联动的全链路智能化营销投放(Push)平台,全面支持端侧实时场景化决策、用户状态实时感知和商品营销个性化投放。通过人、货、场全方面一体化的智能化链路改造,提升营销内容和通知消息的有用性和及时性,使推送更加懂你所想。

未标题-11.gif

双11当天,端侧实时智能 Push 覆盖了手淘主要用户,通过对用户的实时个性化推送引导,相比去年双11,大促会场的引导打开量提升了105%。通过云端一体化的全链路智能营销架构的技术创新,我们成功的帮助用户在大促中更容易的找到自己心仪的商品,也帮助商家和平台实现了精准化和个性化的营销,实现了用户,商家和平台的三赢。

image.png

手淘智能Push平台

端侧

建立了全域标准化用户行为中心,使得手淘可以在第一时间感知用户的实时行为,并且在端上直接加工成为标准化的特征。依赖于端侧机器学习推理框架,我们在端上部署了智能意图预测系统,通过情景计算框架可以准确实时感知用户的场景需求和预测各种购买意图,将这些场景需求和购买意图输入到端上的智能决策模块后,由决策模块决定是否向云端发起对用户的消息提醒和触达,实现亿级用户的全域秒级精准触达能力。

云侧

用户全生命周期管理平台作为服务端的大脑,主要起两个作用。首先,它会获取用户的各种数据和状态,并且实时下发给端侧,帮助端侧进行智能决策;其次,它还会监听端侧发起的触达请求,结合用户的生命周期状态,来决定触达的方式。策略任务调度平台负责整个消息发送的触发和调度,并且具备实时人群过滤的能力,过滤不必要的消息发送。最后的个性化算法平台,通过整合全链路的场景化信息,结合用户状态进行个性化匹配,判断用户当前应该推荐的最佳内容。

经过多个系统的流转,合适的内容可以在合适的时机推送给合适的用户,通过收集用户的实时反馈,进一步优化后续的消息内容。整体上,我们希望通过从端侧到云侧的全链路平台化架构,能够做到真正的场景化、智能化、个性化的推送体验。

自适应限流技术

2019年阿里巴巴的第11个双11,随着业务的不断发展,应用数量、拓扑依赖与复杂性都在持续增长;流量模型的有效预测会更加困难。系统与流量的不确定性都会导致系统处理容量评估疏漏或评估过时(如明星官宣结婚带来热点流量暴涨),这些情况在双11等大型复杂活动中上会更加突显。

面对上述稳定性问题,诺亚(Noah) 自适应限流系统采用不同于业界传统的针对 QPS 限制的静态限流方法,首次以自动控制算法为核心手段,提供自适应限流方案,解决了限流过时的痛点,大幅提升应用抵抗流量冲击的能力,极度简化了限流配置工作,同时在系统资源利用率、用户体验、运维效率等方面均有大幅优化效果。

image.png

诺亚(Noah)

诺亚目前已上线超过9个月,已有大量容器规模部署运行了诺亚。在线上实战和全链路压测中,诺亚保护了大促会场、直播、导购等等核心业务场景;应用在出现容量缺失30%或近20倍大流量脉冲不预期场景下保持稳定运行。

诺亚(Noah)自适应限流的数据效果:

  • 压垮 QPS 上限最高可提升 20 倍于业务负载流量;
  • 在负载压力减少后1秒快速恢复服务,大流量下仅需直接扩容机器一步即可;
  • 对于用户体验的优化,应用在负载情况下,服务成功率最高可提升 2.7 倍,同时响应时间维持正常水平不劣化;
  • 对于成本的优化,资源利用率最高可提升 100%(去除为了稳定性/不确定性而留的资源冗余);
  • 对于应用稳定性运维效率的优化,应用过载时直接扩容即可、使全链路压测更顺畅,无需人工设置,避免人工评估错误导致系统被压垮后需要大量调整时间。

诺亚(Noah)在双11大促过程中,保障大量业务应用系统,提升稳定性、提升资源利用率、优化体验与效率,提升淘系(及更多BU)的稳定性底盘,成为应用稳定性保障的核心能力,推动了业界在大型分布式在线业务系统的高可用/稳定性保障的进展。

image.png

自适应限流控制效果:在流量飙升/大流量压力时,CPU稳定控制在阈值,且服务RT正常

诺亚(Noah)的后续发展:

  • 自适应能力由限流拓展到隔离/熔断等更多稳定性能力上。
    如自适应线程资源隔离、自适应服务比例、自适应服务熔断等等。
  • 由单机的自适应限流拓展到链路级,尤其是客户端流量入口接入层。
    与接入层协同,可以让接入层通过的流量即应用收到流量 与 应用的处理容量 自适应匹配,确定性地保障应用稳定性。
  • 自适应控制处理流量拓展到自适应伸缩容,即流量控制与处理资源控制/伸缩容协同。
    无论是流量的控制还是资源的控制,都是为了让处理容量与资源容量匹配,保证系统不过载稳定性与业务请求的成功率。

技术君说: 
每一年的双11,零点交易的数字都在不断提升,而淘系技术的突破和创新远不止与此,我们将持续以技术驱动产品和商业创新。

2020,我们精彩继续!

关注「淘系技术」微信公众号,获取更多技术干货!
image.png

相关文章
|
传感器 自然语言处理 运维
助力10万阿里小二备战双11,他们在背后都做了什么?
从光棍节变成双节棍,从一波流量洪峰变成两波。今年双11“比以往来得更早一些”,新规则不光是对前线业务小二的考验,背后的保障同学也同样面临前所未有的挑战。如何结合技术创新,在这个复杂多变的场景下,支撑业务的稳定顺滑? 为了更好帮助阿里小二们备战双11,阿里巴巴企业智能事业部打造了“双11虚拟作战室”、空中无线“光缆“、“即插即有内网”的5G盒子等一系列措施。通过数字化的技术手段,保障着10万小二的办公用网稳定与吃住行全新体验。
13273 0
助力10万阿里小二备战双11,他们在背后都做了什么?
|
人工智能 Cloud Native 算法
双11技术总指挥汤兴:今年双11是技术和商业的完美共振
“ 今年的双11是全球极大内容电商场的超级爆发,消费者、技术、内容与商业生态之间每一秒都在产生激烈共振,实时性、复杂性和持续峰值的叠加令其成为全球技术顶峰。我们的使命就是让技术成为双11坚如磐石的稳态,让消费者感受到更顺滑的体验。” 汤兴说。
26458 0
双11技术总指挥汤兴:今年双11是技术和商业的完美共振
|
数据库 运维 双11
银泰100%云化在双11的表现
银泰通过3年多时间,将全部业务迁移上云,通过云计算近一步放大业务支撑能力,该文章主要讲解银泰上云的过程,如何进行技术思维转变?以及通过阿里云相关技术在双11的表现能力的变化有哪些?
1787 0
|
双11 人工智能 关系型数据库
谁顶住双11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍
今年双11,天猫成交额再次刷新世界纪录,阿里巴巴核心系统100%上云,撑住了双11的世界级流量洪峰。在这一流量战场上,阿里可谓是华山论剑的最大赢家。18日下午,神龙架构负责人旭卿、OceanBase日照、菜鸟行易等阿里9位技术大牛现身北京望京,全面解析阿里双11的武功秘籍。来新智元 AI 朋友圈和AI大咖们一起讨论吧。
双中台和房地产会碰撞出怎样的火花?
“基于双中台的会员营销解决方案”亮相北京房地产行业多元化数字化转型论坛。
1792 0
|
存储 新零售 测试技术
双11阿里云技术负责人杨旭:大考亦从容
杨旭,花名杨曦,这是他的第六个双11。 从2012年开始,阿里云通过云计算技术为天猫双11提供计算服务。 3年前,杨旭开始作为双11阿里云技术负责人,负责搭建全球最大的混合云结构,把 “双11”的电商业务和技术场景在阿里云上实现,并保障这个混合云在双11当天能够满足全球客户的购物需求。
5343 0
|
存储 安全 大数据
零点之战!探访阿里巴巴8大技术专家,提前揭秘2017双11关键技术
在距离双11已经不到10天的这个时刻,一场看不见硝烟的战争似乎已经打响。面对双11期间极为严苛的技术压力,阿里巴巴究竟是用怎样的方式进行解决的呢?在接下来的文段中,就让我们一起来对阿里巴巴在2017双11背后的技术进行一次细致的了解和探访。
16608 0
|
机器学习/深度学习 运维 供应链
承担双11万亿流量,阿里核心技术揭秘:12位大咖告诉你!
12月13日-14日,云栖社区联合阿里巴巴技术协会,共同举办《2017阿里双11技术十二讲》在线直播峰会,独家分享双11背后技术最佳实践!
10629 0
|
机器学习/深度学习 人工智能 机器人
【云周刊】第129期:探秘!双11背后的基础设施支撑
免费下载!业界首部安卓热修复宝典出炉,阿里技术大牛联袂推荐!当AI来敲门,一刊尽览人工智能,一个小例子完美解释Naive Bayes(朴素贝叶斯)分类器 ,首届阿里巴巴中间件技术峰会来了...更多精彩技术资讯,尽在云周刊!
16136 0
|
双11 测试技术 数据库
双11黑科技大揭秘,护航企业创造商业奇迹
随着“ 双十一“全民购物狂欢节的到来,很多企业和电商公司也将迎来流量和营业额的高峰。但是,纵观往期双十一的交易数据,我们不难发现,双十一为商家带来流量曝光和推广的同时,高频度流量也对企业数据库处理等能力提出了更高的要求。企业本身如果不能保障流畅运行和企业内沟通效率,将会对企业造成巨大的经济损失。
1316 0