阿里巴巴张瑞谈面向未来的数据库架构

简介:  本文讲的是阿里巴巴张瑞谈面向未来的数据库架构【IT168 评论】国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日如约而至。本届大会以“数据驱动?价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

 本文讲的是阿里巴巴张瑞谈面向未来的数据库架构【IT168 评论】国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日如约而至。本届大会以“数据驱动?价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场,将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

阿里巴巴张瑞谈面向未来的数据库架构

  (更多大会精彩:http://tech.it168.com/topic/2017/5-10/DTCC2017/)

在大会上,来自阿里巴巴集团研究员张瑞带来了《面向未来的数据库体系架构的思考》的精彩分享。据张瑞介绍,目前,阿里数据库技术团队正在建设阿里下一代数据库技术体系,希望能够把阿里的成果、踩过的坑以及面向未来思考介绍和与会者做一些深入的探讨,能够为中国数据库技术的发展出一份力。

阿里巴巴张瑞谈面向未来的数据库架构

  阿里巴巴集团研究员张瑞

据了解,AliSQL 是基于 MySQL 官方版本的一个分支,由阿里云数据库团队维护,目前也应用于阿里巴巴集团业务以及阿里云数据库服务。AliSQL 版本在强度和广度上都经历了极大的考验。最新的 AliSQL 版本不仅从其他开源分支比如Percona,MariaDB,WebScaleSQL 等社区汲取精华,也沉淀了阿里巴巴多年在 MySQL 领域的经验和解决方案。AliSQL 增加更多监控指标,并针对电商秒杀、物联网大数据压缩、金融数据安全等场景提供个性化的解决方案。

以电商的秒杀场景为例,对数据库而言,就是对一条记录的更新,因为事务的特点,单条记录的更新必须串行完成,但秒杀的特点,就是在某个时刻,大量的并发进行减库存,这就造成了大量的线程因获取不到锁而处在死锁检测状态,消耗了大量的CPU资源,最终导致系统无法响应,而引起雪崩效应。AliSQL针对这样的场景,提供了排队和限流的功能,经过了双11零点时刻高并发请求的考验,保持了系统的稳定性和持续吞吐能力。

对于未来,数据库技术应该不仅在数据库内核技术上创新,还应该实现数据库的弹性调度以及如何从自动化走向智能化。

在谈到数据库内核技术创新上,张瑞首次谈到了AliSQLX-Cluster (基于三副本Paxos/Raft协议的AliSQL),在性能上同城三副本与单机性能持平,并且可以异地部署,延时增加,但保持了高吞吐,同时具备网路抖动高容忍性。

阿里巴巴张瑞谈面向未来的数据库架构

从X-Cluster与MySQL Group Replication的对比测试(同IDC)中不难看出,在三节点同IDC部署,sysbench标准化测试 Insert场景,X-Cluster是MySQL GR 的2.4倍。  

阿里巴巴张瑞谈面向未来的数据库架构

在异地对比测试中,三节点三地部署,sysbench标准化测试 Insert场景,X-Cluster(5.04万)是MySQL GR(0.85万)的5.94倍;响应延时X-Cluster(58ms)是MySQL GR(150ms)的38%。

对于自动数据生命周期管理,AliSQL依托热数据存储InnoDB引擎和冷数据存储RocksDB引擎实现了多引擎实现自动冷热数据分离。

阿里巴巴张瑞谈面向未来的数据库架构

众所周知,要想实现弹性调度的量大基础挑战是:容器化和计算存储分离。据张瑞介绍,AliSQL支持物理机、VM、Docker,可以保证容器性能与物理机持平,并且DB与其他应用混部,提升CPU利用率。

在存储计算分离上,由于25G网络,RDMA,SPDK等技术的发展,让大规模存储计算分离成为可能。通过数据库优化,减少网络IO,变离散IO为顺序IO,降低网络延迟带来的性能影响。与此同时,共享存储池,提升存储利用率。通过Erasure Code技术,降低副本数。

可以说,AliSQL是伴随着业务的发展一起成长起来的,经历过双11大促这样大压力的考验,同时也经历了阿里云各行各业用户差异化的需求,已是身经百战。

原文发布时间为:2017-05-11

本文作者:张存

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168

原文标题:阿里巴巴张瑞谈面向未来的数据库架构

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
关系型数据库 MySQL 数据库
阿里云RDS恢复数据到本地上
在2018杭州云栖大会科研云峰会上,阿里云宣布与联科集团达成深度合作。此次合作将依托科研教育行业的多年积累,以及阿里云公共云算力资源的优势,共同推动科研和教育云超算的发展,为广大科研用户提供更便捷的高性能计算服务...
4174 0
|
4月前
|
弹性计算 编解码 安全
阿里云服务器2核4G最新租用价格:可选实例、收费标准和最新活动价格
2026年阿里云2核4G配置服务器的价格参考:目前,轻量应用服务器2核4G(200M带宽、50G云盘)新用户月付仅9.9元,年付199元;通用算力型u1实例2核4G(5M独享带宽、80G云盘)企业新老用户同享199元/年。文章详细对比了经济型e实例、u1/u2a/u2i、c9i/c9a等多款实例规格的性能特点与适用场景,涵盖按量付费及包年包月定价,用户可根据建站、企业后端、计算密集型等不同需求灵活选择,借助活动价格可大幅降低上云成本。
|
6月前
|
人工智能 安全 测试技术
我给 OpenClaw 杀了 47 次僵尸进程,终于想明白了一些事
本文深度剖析OpenClaw:既吐槽其Gateway单点故障、钉钉通道集成缺陷与稳定性痛点,也肯定其“个人AI助理”叙事成功;对比本地开源(OpenClaw)与云端沙箱(Manus)路径,反思Skill模式与传统工程化取舍,并指出AI能写代码,但架构、产品与安全仍需人来把关。
我给 OpenClaw 杀了 47 次僵尸进程,终于想明白了一些事
|
5月前
|
存储 人工智能 API
超详细指南:OpenClaw在阿里云与本地部署教程,高效开发Skill并封装知识,省时省力
2026年,OpenClaw Skill成为AI工具的核心红利点——它本质是“知识的标准化打包”,能将行业经验、工作流程、业务逻辑封装成可复用模块,让AI秒变领域专家。OpenClaw的Skill功能完美解决了传统AI的三大痛点:上下文无法跨窗口继承、重复解释知识、分散文档难以调用,让自动化从“单次执行”升级为“知识沉淀复用”。
595 0
|
机器学习/深度学习 人工智能 弹性计算
基于OpenAPI和AI coding的上云智能体构建实践
本文探讨了基于LLM和AI编程技术构建上云智能体的实践,提出通过人在回路中设计整体流程、LLM自主决策与执行的方式,有效减少幻觉并提升任务正确率。方案在多轮迭代中逐步生成代码,解决了API参数依赖等问题,并验证了三大核心设计理念的可行性。
基于OpenAPI和AI coding的上云智能体构建实践
|
8月前
|
存储 弹性计算 前端开发
阿里云服务器4核8G最新年付价格参考:e实例1196.33元起,u2a实例898.20元起,c9i实例3147.56元起
阿里云4核8G配置云服务器价格因实例规格、带宽及优惠活动差异显著。经济型e实例活动价格1196.33元/年起,适配开发测试;通用算力型u2a实例新用户专享2.5折,活动价格898.20元/年起,适合Web前端计算密集场景;计算型c9i实例广州地域低至6.4折,活动价格3147.56元/年起,适用于中小型数据库等高性能需求。用户可根据业务需求选择实例,通过领取学生无门槛券、企业出海补贴、个人满减券等进一步降低成本,建议通过活动页面实时查询价格与优惠详情。
1329 0
|
存储 人工智能 安全
赋能数字化转型的创新引擎
阿里云是全球领先的云计算与人工智能科技公司,其强大的技术实力和丰富的解决方案正深刻影响企业运营与竞争力。依托坚实的云计算基础设施,阿里云提供弹性计算、存储与网络服务,满足多样化需求。在AI与大数据领域,机器学习平台PAI及MaxCompute助力智能决策与创新应用。同时,阿里云构建全方位安全防护体系,保障数据隐私,并通过活跃的开发者社区与生态合作推动行业进步。未来,阿里云将持续加大研发投入,优化云原生技术,深化AI与大数据研究,引领数字化转型潮流,共创美好未来。
赋能数字化转型的创新引擎
|
存储 分布式计算 监控
ClickHouse简介
ClickHouse是一款专注于OLAP(联机分析处理)的列式存储数据库,以其极致的查询性能、高压缩率和实时分析能力著称。它通过列式存储、向量化查询引擎及分布式架构,满足大规模数据复杂聚合需求,适用于实时日志分析、用户行为分析等场景。然而,ClickHouse不支持事务(ACID),JOIN性能较弱,且对单行更新/删除效率低,不适合OLTP场景。其丰富的表引擎(如MergeTree系列)和数据类型(如LowCardinality优化类型)为不同业务需求提供了灵活支持。
2084 3
|
SQL 存储 Java
Hive教程(09)- 彻底解决小文件的问题
Hive教程(09)- 彻底解决小文件的问题
1843 1