【数据库架构】OLTP 和 OLAP:实际比较

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 【数据库架构】OLTP 和 OLAP:实际比较

OLTP 和 OLAP:这两个术语看起来相似,但指的是不同类型的系统。在线事务处理 (OLTP) 实时捕获、存储和处理来自事务的数据。在线分析处理 (OLAP) 使用复杂的查询来分析来自 OLTP 系统的汇总历史数据。

什么是 OLTP?

OLTP 系统在数据库中捕获和维护事务数据。每个事务都涉及由多个字段或列组成的单个数据库记录。示例包括银行和信用卡活动或零售结账扫描。

在 OLTP 中,重点是快速处理,因为 OLTP 数据库经常被读取、写入和更新。如果事务失败,内置系统逻辑可确保数据完整性。

什么是 OLAP?

OLAP 对从 OLTP 数据库和其他来源聚合而成的大量历史数据应用复杂查询,用于数据挖掘、分析和商业智能项目。在 OLAP 中,重点是对这些复杂查询的响应时间。每个查询都涉及从多行聚合的一列或多列数据。示例包括同比财务业绩或营销线索生成趋势。OLAP 数据库和数据仓库使分析师和决策者能够使用自定义报告工具将数据转化为信息。OLAP 中的查询失败不会中断或延迟客户的事务处理,但会延迟或影响商业智能洞察的准确性。

ETL:连接OLTP和OLAP的力量

来自一个或多个 OLTP 数据库的数据通过称为提取、转换、加载 (ETL) 的过程被摄取到 OLAP 系统中。使用 ETL 工具,用户可以从多个来源收集数据并将其发送到目的地,例如 OLAP 数据仓库,在那里由分析和商业智能工具查询以获取洞察力。

OLTP 与 OLAP:并排比较

OLTP 是可操作的,而 OLAP 是信息性的。看一眼这两种处理的主要特征就可以说明它们的根本区别,以及它们是如何协同工作的。

 

  OLTP OLAP
特征 处理大量小交易 处理具有复杂查询的大量数据
查询类型 Simple standardized queries Complex queries
操作 Based on INSERT, UPDATE, DELETE commands Based on SELECT commands to aggregate data for reporting
响应时间 Milliseconds 秒、分钟或小时,具体取决于要处理的数据量
设计 Industry-specific, such as retail, manufacturing, or banking 特定主题,例如销售、库存或营销
来源 Transactions Aggregated data from transactions
目的 实时控制和运行基本业务运营 计划、解决问题、支持决策、发现隐藏的见解
数据更新 由用户发起的简短、快速的更新 使用计划的、长时间运行的批处理作业定期刷新数据
空间要求 如果归档历史数据,通常很小 由于聚合大型数据集而通常很大
备份和恢复 需要定期备份以确保业务连续性并满足法律和治理要求 可以根据需要从 OLTP 数据库重新加载丢失的数据,以代替定期备份
生产率 提高最终用户的生产力 提高业务经理、数据分析师和高管的工作效率
Data view 列出日常业务交易 企业数据的多维视图
用户示例 面向客户的人员、文员、在线购物者 知识工作者,例如数据分析师、业务分析师和高管
数据库设计 标准化数据库以提高效率 用于分析的非规范化数据库

OLTP 提供当前业务活动的即时记录,而 OLAP 随着时间的推移从该数据中生成并验证洞察力。这种历史视角可以实现准确的预测,但与所有商业智能一样,OLAP 生成的洞察力仅与它们产生的数据管道一样好。

Stitch 优化数据管道

要从 OLTP 数据中获得可操作的情报,必须将其提取、转换并加载到数据仓库中进行分析。虽然这可以通过内部编程资源完成,但使用 ETL 工具可以更有效地处理数据摄取。ETL 工具消除了由于不断变化的数据源 API、报告要求和业务需求而对代码进行持续维护的需要。像 Stitch 这样的 ETL 工具可优化 OLTP 数据摄取,从而腾出时间和 IT 员工专注于更多增值活动。

简化将 OLTP 源数据拉入您的 OLAP 仓库的过程。选择一个可随您的数据扩展的解决方案,并为您提供所需的支持,以保持领先于变化并获得洞察力。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
2月前
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
2月前
|
消息中间件 Java Kafka
实时数仓Kappa架构:从入门到实战
【11月更文挑战第24天】随着大数据技术的不断发展,企业对实时数据处理和分析的需求日益增长。实时数仓(Real-Time Data Warehouse, RTDW)应运而生,其中Kappa架构作为一种简化的数据处理架构,通过统一的流处理框架,解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理,并详细介绍如何使用Java语言快速搭建一套实时数仓。
239 4
|
2月前
|
存储 NoSQL 分布式数据库
微服务架构下的数据库设计与优化策略####
本文深入探讨了在微服务架构下,如何进行高效的数据库设计与优化,以确保系统的可扩展性、低延迟与高并发处理能力。不同于传统单一数据库模式,微服务架构要求更细粒度的服务划分,这对数据库设计提出了新的挑战。本文将从数据库分片、复制、事务管理及性能调优等方面阐述最佳实践,旨在为开发者提供一套系统性的解决方案框架。 ####
|
2月前
|
消息中间件 数据库 云计算
微服务架构下的数据库事务管理策略####
在微服务架构中,传统的单体应用被拆分为多个独立的服务单元,每个服务维护自己的数据库实例。这种设计提高了系统的可扩展性和灵活性,但同时也带来了分布式环境下事务管理的复杂性。本文探讨了微服务架构下数据库事务的挑战,并深入分析了几种主流的事务管理策略,包括Saga模式、两阶段提交(2PC)以及基于消息的最终一致性方案,旨在为开发者提供一套适应不同业务场景的事务处理框架。 ####
|
3月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
275 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
2月前
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
75 1
|
2月前
|
设计模式 存储 缓存
微服务架构下的数据库设计策略
本文探讨了在微服务架构中进行数据库设计时,如何平衡数据的一致性、独立性与系统整体性能之间的关系。文章首先介绍了微服务架构的基本概念及其对数据库设计的影响,随后深入分析了三种主流的数据库设计模式——集中式、去中心化和混合模式,并结合实际案例讨论了它们的适用场景与优缺点。此外,还提出了一系列最佳实践建议,旨在帮助开发者更好地应对微服务环境下的数据管理挑战。
|
3月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
212 1
|
3月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化