X-Engine

简介: 阿里云数据库产品事业部自主研发的OLTP数据库存储引擎X-Engine,已经成功应用在阿里集团内部的核心业务系统,包括交易历史库、钉钉历史库等,不仅大幅降低了业务成本,同时作为双十一大促的关键数据库技术,成功承受了数百倍平时流量的冲击。

阿里云数据库产品事业部自主研发的OLTP数据库存储引擎X-Engine,已经成功应用在阿里集团内部的核心业务系统,包括交易历史库、钉钉历史库等,不仅大幅降低了业务成本,同时作为双十一大促的关键数据库技术,成功承受了数百倍平时流量的冲击。
X-Engine的诞生源于阿里内部业务挑战。早在2010年,阿里内部大规模部署了MySQL数据库,然而,业务量的爆炸式增长使数据库面临巨大压力。因此,设计一个新的存储引擎,以提高性能、降低成本,成为了解决问题的关键。
X-Engine采用全新架构,既可以无缝对接兼容MySQL,又使用分层存储架构。这一设计旨在应对大规模海量数据存储,提供高并发事务处理能力和降低存储成本。通过将数据划分为多个层次,并针对每个层次数据的访问特点,设计对应的存储结构,写入合适的存储设备,实现了数据访问的高效处理。
X-Engine以LSM-Tree作为分层存储的架构基础,并进行重新设计。热数据层和数据更新使用内存存储,通过内存数据库技术(Lock-Free index structure/append only)提高事务处理的性能。这一创新设计使得X-Engine在大规模数据存储和事务处理方面具有显著优势。
随着硬件体系的变革,如多核(众核)CPU、新的处理器架构(Cache/NUMA)、各种异构计算设备(GPU/FPGA)等,数据库软件也需要进行相应的变革。X-Engine正是这一变革的产物,它成功适应了现代硬件体系,充分发挥了硬件性能,为我国数据库技术的发展提供了有力支持。
总之,X-Engine作为阿里云数据库产品事业部自主研发的OLTP数据库存储引擎,成功应对了内部业务挑战,为大规模海量数据存储和事务处理提供了高效解决方案。这一创新成果不仅提升了数据库性能,降低了成本,还对我国数据库技术的发展产生了积极影响。

目录
相关文章
|
前端开发 物联网 API
ToolBench指标提升8.25%!魔搭社区让Qwen2 成为你的智能体好帮手
随着千问2.0的发布,魔搭社区在第一时间上线了千问2全系列模型。我们注意到,千问2模型在通用能力上已经非常强悍,然而有时候用户需要使用模型在自己的私有场景上搭建起智能体调用流程,这时就有可能遇到对于特定场景调用不良的情况,在这种情况下,用户对于千问2模型进行二次训练并提升智能体精度是非常有必要的。
|
NoSQL Java API
分布式系统---幂等性设计
分布式系统---幂等性设计
631 1
|
数据挖掘 索引 Python
在Pandas中通过时间频率来汇总数据的三种常用方法
在Pandas中通过时间频率来汇总数据的三种常用方法
663 0
|
域名解析 网络协议 安全
什么是DNS劫持攻击以及如何避免此类攻击
【10月更文挑战第28天】DNS劫持攻击是一种网络攻击方式,攻击者通过篡改用户的DNS设置,将合法网站的域名解析为恶意网站的IP地址,使用户在不知情的情况下访问钓鱼网站。攻击手段包括在用户系统植入恶意软件、利用路由器漏洞或破解DNS通信等。为防止此类攻击,应使用安全软件、定期检查DNS设置、重置路由器密码及避免访问不安全的网站。
2941 2
|
4月前
|
人工智能 安全 JavaScript
OpenClaw、Hermes合用?来自500+社区互动的真实看法
类龙虾应用正在经历类似于“购买服务器自建 vs Serverless 托管服务”的分化。
790 32
|
7月前
|
人工智能 关系型数据库 数据库
从零到一:向量数据库到底在存什么?大模型开发者必备指南
本文用生活化语言揭秘向量数据库:它是大模型的“超级图书馆”,将文本、图像等转为数字向量(如苹果→[1,1,1,1]),实现语义相似检索。详解RAG知识库构建三步法——切片、向量化、检索增强,并对比传统数据库,强调其“找相似”而非“找精确”的核心价值。
967 2
|
11月前
|
人工智能 DataWorks 算法
智能体创业新风口:从算法开发到IP运营的范式转移——AI智能体如何重塑创新创业的底层逻辑
AI正从技术工具演变为具备人格的智能体,催生“智能体创业”新风口。本文探讨如何通过人格化IP、生态运营与阿里云赋能,实现从算法创新到商业化的范式转移,重塑未来创业格局。
|
云安全 分布式计算 数据中心
《云安全原理与实践》——1.1 云计算的发展历程
本节书摘来自华章计算机《云安全原理与实践》一书中的第1章,第1.1节,作者:陈兴蜀,葛龙著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
4480 0
|
测试技术
po+selenium+unittest自动化测试项目实战
po+selenium+unittest自动化测试项目实战
4104 0
 po+selenium+unittest自动化测试项目实战