双11技术播报特别篇 - 阿里云数据库双11项目负责人智盛专访

简介: 这一期我们的双11技术播报是一个特别篇,我们邀请到了阿里云数据库团队这一次负责双11项目保障的智盛同学来给我们分享他在双11期间经历的一些特别的故事,以及这一次双11数据库的一些特别的技术突破。

以下是对本次访谈的关键内容进行的整理。
点击这里可前往“2020阿里双11技术全观”专题查看访谈视频回放
图片无法显

播报员:
各位开发者朋友们,大家好。欢迎收看我们这一期的双11技术播报栏目,我是你们的播报员莫孤。让我们一起来欢迎一下智盛。要不你先给大家介绍一下你自己有一些什么样的兴趣爱好。

智盛:
大家好,我是云智能数据库团队的智盛。我从2012年加入阿里巴巴,然后一直待在数据库团队。平常的兴趣爱好的话,从我个人角度来说更倾向于踢球。我会在每周三以及周末的时间约上小伙伴一起去足球场踢球。但是因为双11,最近几个月一直比较堕落,在家里休息。

播报员:
今年你是第一次以大队长的身份参加双11的护航,有一些什么不一样的感受吗?

智盛:
这个肯定会有。如果用一个词来形容感受的话,我觉得是变化。第一,从入职到现在我见证了整个阿里巴巴数据库去IOE这么一个新的时代,到今天的全面云原生的这么一个时代。也非常高兴的能够看到一些新的技术从0到1,再从1到n这么一个变化的过程。第二个点,更多的是一个角色上面的变化。从最早的12年的一个新人入职,在双11当天只对着一个屏幕,负责监控大屏,到今天作为整个数据库团队的队长,去负责全局视角的一些稳定性方面的一些变化。这个角度上来说,今天这个变化对我而言是非常巨大的。不仅仅是要把技术做好,同时也要把今天的管理以及各个方面都要做好,去保障我们整个阿里经济体的一个双11。

播报员:
第一次以大队长的身份参加双11肯定是又激动又紧张对不对,你觉得今年的双11和去年的双11从技术上来说,有什么不一样的地方呢?

智盛:
去年大家提到云原生化,然后今年我们的口号是全面云原生化。这背后对于数据库而言,它是从IaaS化到PaaS化的一个过程。原来更多体现的是我们如何用好云资源,用好集团原来已有的一些管控体系。今天更多的是如何跟公有云客户一模一样的去使用整个云技术,去支撑今天我们整体的一个双11的大促。这背后其实是非常有挑战的一件事情。

播报员:
刚刚你说到今年我们的双11是全面云原生化,核心系统以及数据库的全面云原生化对你们的护航工作带来了哪些影响?

智盛:
我们内部有一句话,今年全面云原生化,除了人没有云原生化,其余的所有技术都已经云原生化了。这句话是说,不管是我们自己的数据库的管控系统,还是我们底层的资源,以及我们上层的产品服务,全部跟外面所有的客户一模一样使用阿里云的所有的云产品。在这背后,今天更多的是如何在云时代的背景下,去建立一套新的数据库的体系,以及支撑未来,甚至社会的双11这么一件事情,我们付出了很多。

播报员:
最新出炉的新闻说今年双11的零点,我们的PolarDB的峰值达到了1.4亿的QPS,创造了一个新的记录。新纪录背后代表着哪些技术突破呢?

智盛:
刚刚也提到这1.4亿的一个每秒的请求量,首先代表了今天我们整个社会双11背后的商业价值。同时在这个记录背后,阿里云的数据库团队做了非常多的一些自研的产品,像PolarDB以及我们今天内部的PolarFS。同时,在全面云原生化引出来的存储计算分离2.0,以及我们今天正在试点的国产化单元,这么多事情加在一起,这背后是整个阿里云数据库团队对外界展示出来的我们技术的领先性。

播报员:
除了刚刚我们提到的1.4亿的峰值,今年数据库这边也提了很多类似于像数据库,大数据一体化,还有离在线存储一体化的概念也进行了一些规模化的落地。在业务上会带来哪些变化呢?

智盛:
我们也刚提到在线数据和离线数据。离线数据背后更多的是一些报表类的数据,用于给商家或者是高层做决策使用。这部分离线数据都是滞后的,导致商业上有一些动作不是那么完美。今天通过我们的新的技术体系ADB,新的云产品对外去展示如何让数据在更短的时间内发挥它更有价值的一面。在这个背后,我们的智能选品,智能圈人,流量管控,以及调度等等,各个领域上ADB整套的技术架构帮助用户或者是商家,再让他的数据更加高效、更加准确的去为业务提供服务,为商家做好他们的决策。然后去支持我们今天的整体的一个双11,以及他们自己的一些营销。

播报员:
我们其实都知道双11是一个特别大的购物节,我们都经常在这一天赶快买一年的东西,这样子对购物体验的要求其实是非常高的。我们刚刚也有说今年数据库做了全面云原生化的这么一个动作,它对于我们购物的体验是不是也会有一些影响。你们是怎么去克服这种网络抖动,保证稳定性的难题的?

智盛:
刚刚也提到今年整个技术背后引进来最大的一个变化,是存储计算分离2.0的这么一个项目。它能够让用户去体验到今天如何做到秒级弹性这么一个事情。在这背后,我们从原来的物理lO变成了一次网络lO,所以说刚提到的网络对于整个业务的影响是巨大的。在这个上面,我们联合多个团队,一起经过了三个月的攻坚,去克服这么一个问题。对于消费者而言,如何让他们更加顺滑的去完成一笔订单的下单,或者是买到他们心仪的商品,这件事情我们是非常认真的。在这个背后,我们提升了整个云产品EBS的一些核心能力,都是为了去保障整体的一个稳定性。同时我们的内核也做了非常大的一些改进。

播报员:
除了我们刚刚提到的三个重要的技术突破之外,还有没有其他的一些技术上的亮点可以给我们分享一下?

智盛:
这里面不得不提的是我们在库存这么一个业务场景里面做到了今天所谓的多点写。大家都知道每年双11最难的就是我们的库存的业务。从最早期的单行记录的扣减,从社区版的500qps提升到现在10万每秒的一个扣减能力。今天其实库存业务本身还是有很多挑战没有解决,就像当热点和非热点跑在一台机器上的时候,会有一些相互竞争的逻辑。所以在这个逻辑背后,我们产生了新的技术点,叫做库存多点写的这么一个模型。这个模型背后,希望能够快速的将热点和非热点在大促期间将它们剥离开来,然后让业务能够在主库和备库都提供企业的服务,并且相互不影响,为业务提供丝般顺滑的体验。同时在这个技术背后也为我们带来更大的一些成本上的优化,就像原来我们可能要通过拆库拆表去提升整体的性能,而今天我们可以通过主备的这么一个方式直接提升整体的性能。

播报员:
刚刚智盛也给我们提到了非常多的技术亮点和今年特别新增的一些技术的突破。那之后的这些技术突破,有没有考虑到会回馈给开源社区呢?

智盛:
会。这里想提的是,今天一些技术点回馈到社区的时候,单个技术点可能很难去发挥它的一个整体的价值。在阿里云数据库产品上,我们会有一整套的企业级的解决方案,基于多个产品之间的协同,把每一个技术点发挥它最大的价值。让用户用的爽,让消费者买的开心。这不单单是一个点的问题,它是一个面的问题,更多的是一个整体的问题。所以说这些点我们会在双11场景下打磨好,然后在我们的云产品上为用户提供更加可靠、安全、高效的云产品。

播报员:
我们也知道,可能屏幕前很多的开发者也对阿里的数据库团队非常的向往,他们肯定也是非常想加入这么一个优秀的团队。你对于这一些想要加入阿里的开发者有没有什么建议?

智盛:
对于开发者加入到阿里云或者是阿里云的某个团队,我们首先要相信自己所做的事能够为社会创造更大的价值,让我们的生活更美好。在这个理念下,大家只要投入、专心的做一件事情,我相信任何人都可以加入到我们的阿里云大家庭里面来。当然数据库这么一个专业的领域,数据库的知识肯定也是必须要具备的。但我觉得更多的还是我们要从内心,或者从责任这么一个角度来说,要认可我们今天所做的每一件事情能够让社会和生活更加美好。

播报员:
其实今年是双11的第12年,作为消费者,我们也非常感谢阿里背后千千万万的工程师和技术人员的存在,让我们的双11能够买的更开心,买的更爽,非常的感谢大家。也感谢屏幕前千千万万的开发者们,感谢你们对于社会做出的贡献。今天我们的双11技术播报特别篇就到此结束了,非常感谢大家的观看。
更多精彩戳我前往2020阿里巴巴双11技术专题
图片无法显

相关文章
|
1月前
|
数据库 索引
深入探索数据库索引技术:回表与索引下推解析
【10月更文挑战第15天】在数据库查询优化的领域中,回表和索引下推是两个核心概念,它们对于提高查询性能至关重要。本文将详细解释这两个术语,并探讨它们在数据库操作中的作用和影响。
53 3
|
1月前
|
数据库 索引
深入理解数据库索引技术:回表与索引下推详解
【10月更文挑战第23天】 在数据库查询性能优化中,索引的使用是提升查询效率的关键。然而,并非所有的索引都能直接加速查询。本文将深入探讨两个重要的数据库索引技术:回表和索引下推,解释它们的概念、工作原理以及对性能的影响。
72 3
|
2月前
|
存储 缓存 监控
数据库优化技术:提升性能与效率的关键策略
【10月更文挑战第15天】数据库优化技术:提升性能与效率的关键策略
94 8
|
2月前
|
存储 NoSQL 关系型数据库
数据库技术深度解析:从基础到进阶
【10月更文挑战第17天】数据库技术深度解析:从基础到进阶
98 0
|
2天前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
26 15
|
1月前
|
负载均衡 网络协议 数据库
选择适合自己的数据库多实例负载均衡技术
【10月更文挑战第23天】选择适合自己的数据库多实例负载均衡技术需要全面考虑多种因素。通过深入的分析和评估,结合自身的实际情况,能够做出明智的决策,为数据库系统的高效运行提供有力保障。
114 61
|
10天前
|
存储 NoSQL 关系型数据库
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
我们的风控系统引入阿里云数据库MongoDB版后,解决了特征类字段灵活加减的问题,大大提高了开发效率,极大的提升了业务用户体验,获得了非常好的效果
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
|
1月前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
53 3
|
1月前
|
缓存 负载均衡 监控
数据库多实例的负载均衡技术深入
【10月更文挑战第23天】数据库多实例负载均衡技术是确保数据库系统高效运行的重要手段。通过合理选择负载均衡策略、实时监控实例状态、不断优化调整,能够实现资源的最优分配和系统性能的提升。在实际应用中,需要根据具体情况灵活运用各种负载均衡技术,并结合其他相关技术,以满足不断变化的业务需求。
|
1月前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
在Java应用开发中,数据库操作常成为性能瓶颈。频繁的数据库连接建立和断开增加了系统开销,导致性能下降。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接,显著减少连接开销,提升系统性能。文章详细介绍了连接池的优势、选择标准、使用方法及优化策略,帮助开发者实现数据库性能的飞跃。
31 4
下一篇
DataWorks