双11技术播报特别篇 - 阿里云数据库双11项目负责人智盛专访

简介: 这一期我们的双11技术播报是一个特别篇,我们邀请到了阿里云数据库团队这一次负责双11项目保障的智盛同学来给我们分享他在双11期间经历的一些特别的故事,以及这一次双11数据库的一些特别的技术突破。

以下是对本次访谈的关键内容进行的整理。
点击这里可前往“2020阿里双11技术全观”专题查看访谈视频回放
图片无法显

播报员:
各位开发者朋友们,大家好。欢迎收看我们这一期的双11技术播报栏目,我是你们的播报员莫孤。让我们一起来欢迎一下智盛。要不你先给大家介绍一下你自己有一些什么样的兴趣爱好。

智盛:
大家好,我是云智能数据库团队的智盛。我从2012年加入阿里巴巴,然后一直待在数据库团队。平常的兴趣爱好的话,从我个人角度来说更倾向于踢球。我会在每周三以及周末的时间约上小伙伴一起去足球场踢球。但是因为双11,最近几个月一直比较堕落,在家里休息。

播报员:
今年你是第一次以大队长的身份参加双11的护航,有一些什么不一样的感受吗?

智盛:
这个肯定会有。如果用一个词来形容感受的话,我觉得是变化。第一,从入职到现在我见证了整个阿里巴巴数据库去IOE这么一个新的时代,到今天的全面云原生的这么一个时代。也非常高兴的能够看到一些新的技术从0到1,再从1到n这么一个变化的过程。第二个点,更多的是一个角色上面的变化。从最早的12年的一个新人入职,在双11当天只对着一个屏幕,负责监控大屏,到今天作为整个数据库团队的队长,去负责全局视角的一些稳定性方面的一些变化。这个角度上来说,今天这个变化对我而言是非常巨大的。不仅仅是要把技术做好,同时也要把今天的管理以及各个方面都要做好,去保障我们整个阿里经济体的一个双11。

播报员:
第一次以大队长的身份参加双11肯定是又激动又紧张对不对,你觉得今年的双11和去年的双11从技术上来说,有什么不一样的地方呢?

智盛:
去年大家提到云原生化,然后今年我们的口号是全面云原生化。这背后对于数据库而言,它是从IaaS化到PaaS化的一个过程。原来更多体现的是我们如何用好云资源,用好集团原来已有的一些管控体系。今天更多的是如何跟公有云客户一模一样的去使用整个云技术,去支撑今天我们整体的一个双11的大促。这背后其实是非常有挑战的一件事情。

播报员:
刚刚你说到今年我们的双11是全面云原生化,核心系统以及数据库的全面云原生化对你们的护航工作带来了哪些影响?

智盛:
我们内部有一句话,今年全面云原生化,除了人没有云原生化,其余的所有技术都已经云原生化了。这句话是说,不管是我们自己的数据库的管控系统,还是我们底层的资源,以及我们上层的产品服务,全部跟外面所有的客户一模一样使用阿里云的所有的云产品。在这背后,今天更多的是如何在云时代的背景下,去建立一套新的数据库的体系,以及支撑未来,甚至社会的双11这么一件事情,我们付出了很多。

播报员:
最新出炉的新闻说今年双11的零点,我们的PolarDB的峰值达到了1.4亿的QPS,创造了一个新的记录。新纪录背后代表着哪些技术突破呢?

智盛:
刚刚也提到这1.4亿的一个每秒的请求量,首先代表了今天我们整个社会双11背后的商业价值。同时在这个记录背后,阿里云的数据库团队做了非常多的一些自研的产品,像PolarDB以及我们今天内部的PolarFS。同时,在全面云原生化引出来的存储计算分离2.0,以及我们今天正在试点的国产化单元,这么多事情加在一起,这背后是整个阿里云数据库团队对外界展示出来的我们技术的领先性。

播报员:
除了刚刚我们提到的1.4亿的峰值,今年数据库这边也提了很多类似于像数据库,大数据一体化,还有离在线存储一体化的概念也进行了一些规模化的落地。在业务上会带来哪些变化呢?

智盛:
我们也刚提到在线数据和离线数据。离线数据背后更多的是一些报表类的数据,用于给商家或者是高层做决策使用。这部分离线数据都是滞后的,导致商业上有一些动作不是那么完美。今天通过我们的新的技术体系ADB,新的云产品对外去展示如何让数据在更短的时间内发挥它更有价值的一面。在这个背后,我们的智能选品,智能圈人,流量管控,以及调度等等,各个领域上ADB整套的技术架构帮助用户或者是商家,再让他的数据更加高效、更加准确的去为业务提供服务,为商家做好他们的决策。然后去支持我们今天的整体的一个双11,以及他们自己的一些营销。

播报员:
我们其实都知道双11是一个特别大的购物节,我们都经常在这一天赶快买一年的东西,这样子对购物体验的要求其实是非常高的。我们刚刚也有说今年数据库做了全面云原生化的这么一个动作,它对于我们购物的体验是不是也会有一些影响。你们是怎么去克服这种网络抖动,保证稳定性的难题的?

智盛:
刚刚也提到今年整个技术背后引进来最大的一个变化,是存储计算分离2.0的这么一个项目。它能够让用户去体验到今天如何做到秒级弹性这么一个事情。在这背后,我们从原来的物理lO变成了一次网络lO,所以说刚提到的网络对于整个业务的影响是巨大的。在这个上面,我们联合多个团队,一起经过了三个月的攻坚,去克服这么一个问题。对于消费者而言,如何让他们更加顺滑的去完成一笔订单的下单,或者是买到他们心仪的商品,这件事情我们是非常认真的。在这个背后,我们提升了整个云产品EBS的一些核心能力,都是为了去保障整体的一个稳定性。同时我们的内核也做了非常大的一些改进。

播报员:
除了我们刚刚提到的三个重要的技术突破之外,还有没有其他的一些技术上的亮点可以给我们分享一下?

智盛:
这里面不得不提的是我们在库存这么一个业务场景里面做到了今天所谓的多点写。大家都知道每年双11最难的就是我们的库存的业务。从最早期的单行记录的扣减,从社区版的500qps提升到现在10万每秒的一个扣减能力。今天其实库存业务本身还是有很多挑战没有解决,就像当热点和非热点跑在一台机器上的时候,会有一些相互竞争的逻辑。所以在这个逻辑背后,我们产生了新的技术点,叫做库存多点写的这么一个模型。这个模型背后,希望能够快速的将热点和非热点在大促期间将它们剥离开来,然后让业务能够在主库和备库都提供企业的服务,并且相互不影响,为业务提供丝般顺滑的体验。同时在这个技术背后也为我们带来更大的一些成本上的优化,就像原来我们可能要通过拆库拆表去提升整体的性能,而今天我们可以通过主备的这么一个方式直接提升整体的性能。

播报员:
刚刚智盛也给我们提到了非常多的技术亮点和今年特别新增的一些技术的突破。那之后的这些技术突破,有没有考虑到会回馈给开源社区呢?

智盛:
会。这里想提的是,今天一些技术点回馈到社区的时候,单个技术点可能很难去发挥它的一个整体的价值。在阿里云数据库产品上,我们会有一整套的企业级的解决方案,基于多个产品之间的协同,把每一个技术点发挥它最大的价值。让用户用的爽,让消费者买的开心。这不单单是一个点的问题,它是一个面的问题,更多的是一个整体的问题。所以说这些点我们会在双11场景下打磨好,然后在我们的云产品上为用户提供更加可靠、安全、高效的云产品。

播报员:
我们也知道,可能屏幕前很多的开发者也对阿里的数据库团队非常的向往,他们肯定也是非常想加入这么一个优秀的团队。你对于这一些想要加入阿里的开发者有没有什么建议?

智盛:
对于开发者加入到阿里云或者是阿里云的某个团队,我们首先要相信自己所做的事能够为社会创造更大的价值,让我们的生活更美好。在这个理念下,大家只要投入、专心的做一件事情,我相信任何人都可以加入到我们的阿里云大家庭里面来。当然数据库这么一个专业的领域,数据库的知识肯定也是必须要具备的。但我觉得更多的还是我们要从内心,或者从责任这么一个角度来说,要认可我们今天所做的每一件事情能够让社会和生活更加美好。

播报员:
其实今年是双11的第12年,作为消费者,我们也非常感谢阿里背后千千万万的工程师和技术人员的存在,让我们的双11能够买的更开心,买的更爽,非常的感谢大家。也感谢屏幕前千千万万的开发者们,感谢你们对于社会做出的贡献。今天我们的双11技术播报特别篇就到此结束了,非常感谢大家的观看。
更多精彩戳我前往2020阿里巴巴双11技术专题
图片无法显

相关文章
|
6天前
|
人工智能 Cloud Native 关系型数据库
关系型数据库,阿里云5连冠!
阿里云瑶池连续5年蝉联中国数据库第一
关系型数据库,阿里云5连冠!
|
2天前
|
Java 数据库连接 API
后端开发之用Mybatis简化JDBC的开发快速入门2024及数据库连接池技术和lombok工具详解
后端开发之用Mybatis简化JDBC的开发快速入门2024及数据库连接池技术和lombok工具详解
10 3
|
2天前
|
监控 Java 数据库连接
Java开发者必读:连接池技术如何提升数据库连接效率
【6月更文挑战第24天】Java开发中,面对高并发的数据库访问,连接池技术成为性能优化的关键。它预先创建连接池,减少频繁的连接创建/关闭,提升响应速度,节省资源,并增强系统稳定性。例如,HikariCP连接池通过配置实现DB连接管理,简化代码并提升应用性能。
|
9天前
|
分布式计算 DataWorks 调度
阿里云DataWorks-部署自定义python项目问题
阿里云DataWorks-多种方式部署自定义python项目并进行调度
|
9天前
|
SQL 弹性计算 API
云服务器 ECS产品使用问题之如何通过API调用阿里云服务器上SQL Server数据库中的数据
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
1天前
|
安全 关系型数据库 MySQL
本地项目无法连接阿里云服务器MYSQL---轻量应用服务器篇
本地项目无法连接阿里云服务器MYSQL---轻量应用服务器篇
8 0
|
1天前
|
NoSQL Java 数据库
优化基于阿里云的微服务架构下的数据库访问性能
在应对大型电商项目中数据库访问性能瓶颈问题时,团队通过阿里云工具分析发现高QPS、慢查询和不合理数据交互是关键。优化措施包括:1) 索引优化,针对慢查询添加或调整索引;2) 开启读写分离,使用RDS读写分离功能和DRDS进行水平拆分;3) 引入Redis缓存热点数据,减少直接数据库访问;4) 服务化数据访问,降低跨服务数据库调用;5) 使用Sentinel进行限流和熔断,保护数据库资源。这些改进显著提升了系统响应速度和用户体验。
|
2天前
|
SQL Java 数据库连接
打破瓶颈:利用Java连接池技术提升数据库访问效率
【6月更文挑战第24天】Java连接池优化数据库访问性能,减少资源消耗。原理是预创建数据库连接池,复用连接而非频繁建立断开。优势包括性能提升、资源节约和增强稳定性。示例使用HikariCP配置连接池,动态获取和释放连接。通过连接池技术,应用能更高效地处理数据库操作。
|
2天前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
【6月更文挑战第24天】Java连接池技术优化数据库性能,减少连接开销,提高响应速度。常见库有HikariCP、C3P0、DBCP。选择时考虑性能、功能和稳定性。以HikariCP为例,配置包括设置URL、用户、密码和最大连接数。优化配置涉及最大连接数调整、连接超时及连接校验。连接池能提升应用效率,确保资源有效利用。
|
2天前
|
SQL Java 关系型数据库
探索Java数据库连接的奥秘:JDBC技术全攻略
【6月更文挑战第24天】Java的JDBC是连接数据库的标准,提供统一API访问多种数据库。本文涵盖JDBC的基本概念、核心组件(如DriverManager、Connection、Statement、PreparedStatement和ResultSet)和最佳实践。示例展示了如何用JDBC连接MySQL,执行查询并处理结果。最佳实践包括使用PreparedStatement防SQL注入,妥善管理资源,处理异常,使用事务以及优化性能。了解和掌握JDBC能提升数据库操作的效率和安全性。

热门文章

最新文章