【视点】混合型事务处理

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介:
    在线事务处理一般可分为在线交易事务处理(OLTP)和在线分析事务处理(OLAP),也有叫联机交易处理和联机分析处理。而混合型事务处理(HTAP)则融合了上述两种事务类型,即一个系统同时很好的满足OLTP和OLAP的需求。 
   早在2014年Gartner的报告就明确指出了:“混合型交易/分析事务处理(HTAP)将帮助应用提升场景识别能力,增强业务敏捷性。这将引发由内存计算技术催生的现有架构和IT科技的剧变”。
    电子商务领域就有很多混合型事务处理的例子,比如信用卡消费,既要计算当前消费,又要按T+1统计剩余额度;个性化引擎,既要应对当下行为,又要根据偏差调整推荐算法;物联网事件处理器等等。       

1

    当然作为这样一套系统,首先它需要满足一些非功能的需求,包括每秒10万次以上的并发处理能力;可以与应用同步线性扩展;零网络延时、零数据丢失。在功能性上,它需要支持纯Java技术栈的业务逻辑以及可以接受来自流处理框架([【观察】常用的流式框架(一)-- Storm与Samza](https://yq.aliyun.com/articles/750868?spm=a2c4e.11155435.0.0.409a33129XlKTs);[【观察】常用的流式框架(二)-- Spark与Flink](https://yq.aliyun.com/articles/750869?spm=a2c4e.11155435.0.0.409a33129XlKTs))的消息,并能对其中的状态信息进行快速识别。

2

    上图的模型是最早的OLTP与OLAP并存模型,没有任何的分离处理,直接面临的问题就是中间关系型数据库在承载多分析模块读取数据的同时,源应用程序的写操作会处理不过来。于是企业的数据架构又会在应用与结构化数据库之间加入一层操作性数据库(ODS)。

3

    ODS确实很好的分解了OLTP与OLAP的资源分配,但是首先会带来数据冗余,其次由于ETL转置需要时间,因此数据仓库中的数据距离实时性一定会有不小的差距,进而就导致报表数据的不及时。并且ETL任意环节的故障都会导致数据仓库的失真。
    随着内存计算技术的发展,并且借助多版本并发控制(MVCC)能力,HTAP已经可以将OLTP和OLAP事务放在一个数据库上处理了。

4

    这类数据库市面上的选择还不少,尤以VoltDB,NuoDB和MemSQL为首,程序内置MVCC功能可以对频繁更新的数据记录版本号,以建立缓存序列供OLAP差异化调取。

5

    随着微服务在企业中的普及,不同的微服务可以挂接不同的HTAP数据库以满足多并发更新与读取的需求。当然如果目标微服务没有很大的并发更新量的情况下,多个微服务共享一个HTAP,根据Schema分库分表也不失为企业混合事务处理的有效解决办法。
相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
机器学习/深度学习 JavaScript PyTorch
9个主流GAN损失函数的数学原理和Pytorch代码实现:从经典模型到现代变体
生成对抗网络(GAN)的训练效果高度依赖于损失函数的选择。本文介绍了经典GAN损失函数理论,并用PyTorch实现多种变体,包括原始GAN、LS-GAN、WGAN及WGAN-GP等。通过分析其原理与优劣,如LS-GAN提升训练稳定性、WGAN-GP改善图像质量,展示了不同场景下损失函数的设计思路。代码实现覆盖生成器与判别器的核心逻辑,为实际应用提供了重要参考。未来可探索组合优化与自适应设计以提升性能。
441 7
9个主流GAN损失函数的数学原理和Pytorch代码实现:从经典模型到现代变体
|
存储 缓存 负载均衡
【2022持续更新】大数据最全知识点整理-HBase篇
【2022持续更新】大数据最全知识点整理-HBase篇
1429 0
【2022持续更新】大数据最全知识点整理-HBase篇
|
2月前
|
人工智能 监控 数据可视化
企业级LLMOps落地指南:蜂巢架构×可视化编排实战
本文将基础的单应用扩展成多应用,并实现工作流组件,包括:多应用模块设计、工作流模块设计、LangGraph实现图应用、前端Vue-Flow组件使用、工作流转LLM工具设计思路、关联工作流登技巧。
174 3
企业级LLMOps落地指南:蜂巢架构×可视化编排实战
|
1月前
|
Ubuntu 安全 Linux
Linux发行版深度对比:Ubuntu、CentOS与Fedora
Ubuntu、CentOS和Fedora分别在用户体验、企业级稳定性和技术创新方面展现了各自的优势,适合不同类型的用户和场景。选择合适的Linux发行版应基于个人或组织的需求、技术背景以及对稳定性和最新技术的偏好。无论是追求直观易用的桌面环境,还是寻求企业级的稳定性与安全性,亦或是渴望体验最新技术的前沿,这三大发行版都提供了丰富的选项和强大的支持,满足了Linux用户在各种场景下的需求。在选择发行版时,深入理解其特点和优势,结合自身需求进行考量,将有助于做出最适合自己的决策,从而在Linux世界中获得最佳的使用体验。
|
4月前
|
域名解析 存储 安全
家庭宽带IP与IDC机房IP
本文对比了家庭宽带IP与IDC机房IP在定义、用途、稳定性、带宽、安全性及IP地址分配方式上的差异。家庭宽带IP主要用于个人上网,动态分配,带宽和安全性较低,稳定性受多种因素影响;而IDC机房IP专为服务器设计,静态分配,带宽资源丰富,具备高稳定性和专业安全防护措施,适合企业级应用需求。
404 2
|
8月前
|
SQL 存储 Apache
基于 Flink 进行增量批计算的探索与实践
本文整理自阿里云高级技术专家、Apache Flink PMC朱翥老师在Flink Forward Asia 2024的分享,内容分为三部分:背景介绍、工作介绍和总结展望。首先介绍了增量计算的定义及其与批计算、流计算的区别,阐述了增量计算的优势及典型需求场景,并解释了为何选择Flink进行增量计算。其次,详细描述了当前的工作进展,包括增量计算流程、执行计划生成、控制消费数据量级及执行进度记录恢复等关键技术点。最后,展示了增量计算的简单示例、性能测评结果,并对未来工作进行了规划。
904 6
基于 Flink 进行增量批计算的探索与实践
|
8月前
|
存储 SQL NoSQL
Doris 架构原理及核心特性详解
Doris 是百度内部孵化的OLAP项目,现已开源并广泛应用。它采用MPP架构、向量化执行引擎和列存储技术,提供高性能、易用性和实时数据处理能力。系统由FE(管理节点)和BE(计算与存储节点)组成,支持水平扩展和高可用性。Doris 适用于海量数据分析,尤其在电商、游戏等行业表现出色,但资源消耗较大,复杂查询优化有局限性,生态集成度有待提高。
1119 15
|
9月前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
8394 18
资料合集|Flink Forward Asia 2024 上海站
|
10月前
|
传感器 缓存 网络协议
CoAP 协议与 HTTP 协议的区别
CoAP(Constrained Application Protocol)协议是为资源受限的设备设计的轻量级协议,适用于物联网场景。相比HTTP,CoAP具有低功耗、低带宽占用和简单易实现的特点,支持多播通信和无连接的交互模式。
|
存储 弹性计算 分布式计算
OSS基本使用
【7月更文挑战第19天】
863 1