【各种**问题系列】OLTP和OLAP是啥?

简介: 【1月更文挑战第26天】【各种**问题系列】OLTP和OLAP是啥?

 image.gif编辑

OLTP和OLAP是什么?

OLTP联机事务处理:

       OLTP,也叫联机事务处理(Online Transaction Processing),表示事务性非常高的系统,一般都是高可用的在线系统,以小的事务以及小的查询为主,评估其系统的时候,一般看其每秒执行的Transaction以及Execute SQL的数量。在这样的系统中,单个数据库每秒处理的Transaction往往超过几百个,或者是几千个,Select 语句的执行量每秒几千甚至几万个。典型的OLTP系统有电子商务系统、银行、证券等,如美国eBay的业务数据库,就是很典型的OLTP数据库。业务场景如银行转账等实时场景。

OLAP联机分析处理:

       OLAP,叫联机分析处理(On-Line Analytical Processing),是数据仓库系统(HBase、ClickHouse…)的主要应用,支持对海量数据进行复杂的统计分析操作,持久化数据一般不进行修改,数据一致性要求不高,侧重决策支持,并且提供直观易懂的查询结果,例如商城推荐系统,用户人物画像。有的时候也叫DSS决策支持系统,就是我们说的数据仓库。在这样的系统中,语句的执行量不是考核标准,因为一条语句的执行时间可能会非常长,读取的数据也非常多。所以,在这样的系统中,考核的标准往往是磁盘子系统的吞吐量(带宽),如能达到多少MB/s的流量。业务场景如商品推荐,比如电商场景下常见的,根据用户行为做商品推荐。用户的行为数据存进数仓后,进行实时计算,然后将算法模型计算出的推荐结果发给业务端做展示。


OLTP和OLAP对比分析:

image.gif编辑

OLTP,联机事务处理(Online Transaction Processing)

       表示事务性非常高的系统,一般都是高可用的在线系统,以小的事务以及小的查询为主,评估其系统的时候,一般看其每秒执行的Transaction以及Execute SQL的数量。在这样的系统中,单个数据库每秒处理的Transaction往往超过几百个,或者是几千个,Select 语句的执行量每秒几千甚至几万个。典型的OLTP系统有电子商务系统、银行、证券等,如美国eBay的业务数据库,就是很典型的OLTP数据库。OLTP系统最容易出现瓶颈的地方就是CPU与磁盘子系统。

    • CPU出现瓶颈常表现在逻辑读总量与计算性函数或者是过程上,逻辑读总量等于单个语句的逻辑读乘以执行次数,如果单个语句执行速度虽然很快,但是执行次数非常多,那么,也可能会导致很大的逻辑读总量。设计的方法与优化的方法就是减少单个语句的逻辑读,或者是减少它们的执行次数。另外,一些计算型的函数,如自定义函数、decode等的频繁使用,也会消耗大量的CPU时间,造成系统的负载升高,正确的设计方法或者是优化方法,需要尽量避免计算过程,如保存计算结果到统计表就是一个好的方法。
    • 磁盘子系统在OLTP环境中,它的承载能力一般取决于它的IOPS处理能力. 因为在OLTP环境中,磁盘物理读一般都是db file sequential read,也就是单块读,但是这个读的次数非常频繁。如果频繁到磁盘子系统都不能承载其IOPS的时候,就会出现大的性能问题。

       OLTP比较常用的设计与优化方式为Cache技术与B-tree索引技术,Cache决定了很多语句不需要从磁盘子系统获得数据,所以,Web cache与Oracle data buffer对OLTP系统是很重要的。另外,在索引使用方面,语句越简单越好,这样执行计划也稳定,而且一定要使用绑定变量,减少语句解析,尽量减少表关联,尽量减少分布式事务,基本不使用分区技术、MV技术、并行技术及位图索引。因为并发量很高,批量更新时要分批快速提交,以避免阻塞的发生。

    OLTP 系统是一个数据块变化非常频繁,SQL 语句提交非常频繁的系统。 对于数据块来说,应尽可能让数据块保存在内存当中,对于SQL来说,尽可能使用变量绑定技术来达到SQL重用,减少物理I/O 和重复的SQL 解析,从而极大的改善数据库的性能。

       这里影响性能除了绑定变量,还有可能是热快(hot block)。 当一个块被多个用户同时读取时,Oracle 为了维护数据的一致性,需要使用Latch来串行化用户的操作。当一个用户获得了latch后,其他用户就只能等待,获取这个数据块的用户越多,等待就越明显。 这就是热快的问题。 这种热快可能是数据块,也可能是回滚端块。 对于数据块来讲,通常是数据库的数据分布不均匀导致,如果是索引的数据块,可以考虑创建反向索引来达到重新分布数据的目的,对于回滚段数据块,可以适当多增加几个回滚段来避免这种争用。

    OLAP,联机分析处理(Online Analytical Processing)系统

           有的时候也叫DSS决策支持系统,就是我们说的数据仓库。在这样的系统中,语句的执行量不是考核标准,因为一条语句的执行时间可能会非常长,读取的数据也非常多。所以,在这样的系统中,考核的标准往往是磁盘子系统的吞吐量(带宽),如能达到多少MB/s的流量。

             磁盘子系统的吞吐量则往往取决于磁盘的个数,这个时候,Cache基本是没有效果的,数据库的读写类型基本上是db file scattered read与direct path read/write。应尽量采用个数比较多的磁盘以及比较大的带宽,如4Gb的光纤接口。

    在OLAP系统中,常使用分区技术、并行技术。

       分区技术在OLAP系统中的重要性主要体现在数据库管理上,比如数据库加载,可以通过分区交换的方式实现,备份可以通过备份分区表空间实现,删除数据可以通过分区进行删除,至于分区在性能上的影响,它可以使得一些大表的扫描变得很快(只扫描单个分区)。另外,如果分区结合并行的话,也可以使得整个表的扫描会变得很快。总之,分区主要的功能是管理上的方便性,它并不能绝对保证查询性能的提高,有时候分区会带来性能上的提高,有时候会降低。

       并行技术除了与分区技术结合外,在Oracle 10g中,与RAC结合实现多节点的同时扫描,效果也非常不错,可把一个任务,如select的全表扫描,平均地分派到多个RAC的节点上去。

       在OLAP系统中,不需要使用绑定(BIND)变量,因为整个系统的执行量很小,分析时间对于执行时间来说,可以忽略,而且可避免出现错误的执行计划。但是OLAP中可以大量使用位图索引,物化视图,对于大的事务,尽量寻求速度上的优化,没有必要像OLTP要求快速提交,甚至要刻意减慢执行的速度。

       绑定变量真正的用途是在OLTP系统中,这个系统通常有这样的特点,用户并发数很大,用户的请求十分密集,并且这些请求的SQL 大多数是可以重复使用的。

       对于OLAP系统来说,绝大多数时候数据库上运行着的是报表作业,执行基本上是聚合类的SQL 操作,比如group by,这时候,把优化器模式设置为all_rows是恰当的。 而对于一些分页操作比较多的网站类数据库,设置为first_rows会更好一些。 但有时候对于OLAP 系统,我们又有分页的情况下,我们可以考虑在每条SQL 中用hint。 如:Select  a.* from table a;

    相关实践学习
    数据库实验室挑战任务-初级任务
    本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
    阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
    云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
    相关文章
    |
    18天前
    |
    Cloud Native OLAP OLTP
    在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
    在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
    119 4
    |
    6月前
    |
    存储 OLAP OLTP
    分布式数据库的HTAP能统一OLTP和 OLAP吗?
    分布式数据库的HTAP能统一OLTP和 OLAP吗?
    97 0
    |
    11月前
    |
    存储 OLAP OLTP
    【数据库架构】OLTP 和 OLAP 的区别
    【数据库架构】OLTP 和 OLAP 的区别
    |
    11月前
    |
    存储 数据挖掘 OLAP
    【数据库架构】OLTP 和 OLAP:实际比较
    【数据库架构】OLTP 和 OLAP:实际比较
    |
    11月前
    |
    存储 SQL 数据挖掘
    【数据管理】OLAP 与 OLTP:有什么区别?
    【数据管理】OLAP 与 OLTP:有什么区别?
    |
    11月前
    |
    存储 分布式计算 安全
    「技术选型」OLTP 和OLAP的异同
    「技术选型」OLTP 和OLAP的异同
    |
    存储 消息中间件 缓存
    「数据密集型系统搭建」原理篇|OLAP、OLTP,竟然是两个世界
    本篇来聊聊OLAP与OLTP的区别以及它们各自的适用场景,以此话题为导引和大家聊聊技术视野与知识储备对于研发同学的重要性,站在事务处理与在线分析的角度分别论述下两个数据世界的底层构建逻辑。
    512 0
    「数据密集型系统搭建」原理篇|OLAP、OLTP,竟然是两个世界
    |
    数据挖掘 大数据 OLAP
    Kudu入门_对比 _OLAP和OLTP|学习笔记
    快速学习Kudu入门_对比 _OLAP和OLTP
    135 0
    Kudu入门_对比 _OLAP和OLTP|学习笔记
    |
    Oracle 关系型数据库 数据挖掘
    摸鱼不如来了解--OLAP和OLTP的区别
    OLAP(On-Line Analytical Processing)联机分析处理
    196 0
    |
    2月前
    |
    SQL 存储 数据管理
    阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
    【2月更文挑战第9天】阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
    51 2