Kudu入门_对比 _OLAP和OLTP|学习笔记

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 快速学习Kudu入门_对比 _OLAP和OLTP

开发者学堂课程【2020版大数据实战项目之DMP广告系统(第一阶段)Kudu入门_对比 _OLAP和OLTP】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/676/detail/11751


Kudu 入门_对比 _OLAP 和 OLTP


OLAP 和 OLTP

广义来讲,数据库分为 OLTP 和 OLAPimage.png

1、OLTP

先举个例子,在电商网站中或者美团等订餐软件中,经常见到一个功能-“我的订单”,这个功能在查询数据的时候,是查询的某一个用户的数据,并不是批量的数据。或者在滴滴打车中“我的行程”界面主要就是本人的界面,这种小批量精确的查询就是 OLTP 所擅长的,再想想业务系统中经常需要注册然后去购买,之后会产生一个订单数据。当一个人注册的时候传递给服务器需要注册的信号,但当有一万个人同时进行注册,这个复杂度需要对数据进行实时的插入,这个时候 OLTP 需要做的事情是

(1)快速插入和更新

(2)精确查询

思考是否有业务系统中的场景是要对数据库中整体上的数据全都弄出来进行计算,比如说我要计算去年所有订单的总销售额。有这种需求但不会在 OLTP 中做,所以 OLTP 不太适合进行批量的大规模的分析。它主要是用于对响应速度和数据完整性很高的在线服务应用中。

2、OLAP

OLAP 可以统计,生成一个报表反映去年一整年的销售情况、运营情况、采购情况,包括用户的情况。这个时候需要在一个很大的数据集上进行扫描和分析。OLAP 看重的是大规模批量的数据性能。OLAP 的性能不擅长逐条数据进行插入,但扫描性能好。

3、总结

(1)OLTP 随机访问能力比较强,批量扫描比较差

(2)OLAP 擅长大规模批量数据加载,对于随机访问的能力则比较差

(3)大数据系统中,往往从 OLTP 数据库中放入 OLAP 数据库中,然后做分析和处理

在一般项目中会有应用服务器,应用服务器保存了非常多的业务上的数据,这些数据保存在了 OLTP 当中,但是直接在 OLTP上进行大规模的数据分析,首先第一点没有历史数据,一个实体保存一种数据,也没有历史记录这种功能。第二点大规模分析扫描性能太差。比如使用 Spark Streaming 去读 OLTP 数据的时候,通过一个接口把数据拉出来以后再做分区,速度很慢。可以使用 OLAP 型的数据库,把数据库同步过去,将 OLTP 数据放入 OLAP 中。然后可以针对OLAP 的数据库进行报表和预测型分析。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
7月前
|
Cloud Native OLAP OLTP
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
197 4
|
4月前
|
数据挖掘 OLAP OLTP
深入解析:OLTP与OLAP的区别与联系
【8月更文挑战第31天】
1585 0
|
4月前
|
关系型数据库 OLAP 分布式数据库
揭秘Polardb与OceanBase:从OLTP到OLAP,你的业务选对数据库了吗?热点技术对比,激发你的选择好奇心!
【8月更文挑战第22天】在数据库领域,阿里巴巴的Polardb与OceanBase各具特色。Polardb采用共享存储架构,分离计算与存储,适配高并发OLTP场景,如电商交易;OceanBase利用灵活的分布式架构,优化数据分布与处理,擅长OLAP分析及大规模数据管理。选择时需考量业务特性——Polardb适合事务密集型应用,而OceanBase则为数据分析提供强大支持。
1340 2
|
7月前
|
数据挖掘 OLAP OLTP
OLAP与OLTP相比,各自的特点是什么?
【5月更文挑战第14天】OLAP与OLTP相比,各自的特点是什么?
131 0
|
7月前
|
SQL OLAP OLTP
【各种**问题系列】OLTP和OLAP是啥?
【1月更文挑战第26天】【各种**问题系列】OLTP和OLAP是啥?
|
7月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
565 0
|
存储 OLAP OLTP
分布式数据库的HTAP能统一OLTP和 OLAP吗?
分布式数据库的HTAP能统一OLTP和 OLAP吗?
175 0
|
存储 OLAP OLTP
【数据库架构】OLTP 和 OLAP 的区别
【数据库架构】OLTP 和 OLAP 的区别
|
存储 运维 DataWorks
数仓建模理论与规范(一)| 学习笔记
快速学习数仓建模理论与规范。
数仓建模理论与规范(一)| 学习笔记
|
存储 SQL DataWorks
数仓建模理论与规范(三)| 学习笔记
快速学习数仓建模理论与规范。
数仓建模理论与规范(三)| 学习笔记

热门文章

最新文章