X-Engine

简介: 阿里云数据库产品事业部自主研发的OLTP数据库存储引擎X-Engine,已经成功应用在阿里集团内部的核心业务系统,包括交易历史库、钉钉历史库等,不仅大幅降低了业务成本,同时作为双十一大促的关键数据库技术,成功承受了数百倍平时流量的冲击。

阿里云数据库产品事业部自主研发的OLTP数据库存储引擎X-Engine,已经成功应用在阿里集团内部的核心业务系统,包括交易历史库、钉钉历史库等,不仅大幅降低了业务成本,同时作为双十一大促的关键数据库技术,成功承受了数百倍平时流量的冲击。
X-Engine的诞生源于阿里内部业务挑战。早在2010年,阿里内部大规模部署了MySQL数据库,然而,业务量的爆炸式增长使数据库面临巨大压力。因此,设计一个新的存储引擎,以提高性能、降低成本,成为了解决问题的关键。
X-Engine采用全新架构,既可以无缝对接兼容MySQL,又使用分层存储架构。这一设计旨在应对大规模海量数据存储,提供高并发事务处理能力和降低存储成本。通过将数据划分为多个层次,并针对每个层次数据的访问特点,设计对应的存储结构,写入合适的存储设备,实现了数据访问的高效处理。
X-Engine以LSM-Tree作为分层存储的架构基础,并进行重新设计。热数据层和数据更新使用内存存储,通过内存数据库技术(Lock-Free index structure/append only)提高事务处理的性能。这一创新设计使得X-Engine在大规模数据存储和事务处理方面具有显著优势。
随着硬件体系的变革,如多核(众核)CPU、新的处理器架构(Cache/NUMA)、各种异构计算设备(GPU/FPGA)等,数据库软件也需要进行相应的变革。X-Engine正是这一变革的产物,它成功适应了现代硬件体系,充分发挥了硬件性能,为我国数据库技术的发展提供了有力支持。
总之,X-Engine作为阿里云数据库产品事业部自主研发的OLTP数据库存储引擎,成功应对了内部业务挑战,为大规模海量数据存储和事务处理提供了高效解决方案。这一创新成果不仅提升了数据库性能,降低了成本,还对我国数据库技术的发展产生了积极影响。

目录
相关文章
|
Java Windows
签名验签工具
我们提供了一键生成RSA密钥工具。该工具也提供了签名及验签功能,可以演示针对支付宝开放平台接口的签名和验签流程。 WINDOWS版本下载地址:WINDOWS MAC OS版本下载地址:MAC_OSX 解压后,WINDOWS版本双击文件“RSA签名验签工具.bat”即可运行工具。
5205 0
|
3月前
|
人工智能 关系型数据库 数据库
从零到一:向量数据库到底在存什么?大模型开发者必备指南
本文用生活化语言揭秘向量数据库:它是大模型的“超级图书馆”,将文本、图像等转为数字向量(如苹果→[1,1,1,1]),实现语义相似检索。详解RAG知识库构建三步法——切片、向量化、检索增强,并对比传统数据库,强调其“找相似”而非“找精确”的核心价值。
608 2
|
存储 运维 负载均衡
解析iptables原里及设置规则
【4月更文挑战第21天】本文就是针对对iptables了解不多,需要知道其基本原理,数据包处理流向及常用的配置设置等进行总结叙述,以达到在最短的时间内找到所需求的知识,进行常规配置操作。
528 4
解析iptables原里及设置规则
|
安全 关系型数据库 MySQL
分享一个 MySQL 简单快速进行自动备份和还原的脚本和方法
分享一个 MySQL 简单快速进行自动备份和还原的脚本和方法
756 0
|
存储 关系型数据库 分布式数据库
PolarDB有哪些优势?
【5月更文挑战第12天】PolarDB有哪些优势?
708 3
|
存储 供应链 安全
《数据治理简易速速上手小册》第8章 数据生命周期管理(2024 最新版)
《数据治理简易速速上手小册》第8章 数据生命周期管理(2024 最新版)
431 1
|
分布式数据库 数据库 容器
揭秘 Gossip 协议:节点之间的悄悄话
揭秘 Gossip 协议:节点之间的悄悄话
886 0
|
域名解析 缓存 网络协议
Dnsmasq的使用
Dnsmasq的使用
1021 1
|
安全 网络协议 网络安全
WireGuard 系列文章(一):什么是 VPN
WireGuard 系列文章(一):什么是 VPN