大数据框架原理简介(3)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 大数据框架原理简介(3)

数据建模


ODS是站在记录层面访问的角度而设计的
DW或DM则是站在结果集层面访问的角度而设计的
ODS支持快速的数据更新,DW作为一个整体是面向查询的


查询的事务


ODS中的事务操作比较多
可能一天中会不断的执行相同的事务
而DW中事务的到达是可以预测的



用途


ODS用于每一天的操作型决策 是一种短期的
DW可以获取一种长期的合作广泛的决策
ODS是策略型的,DW是战略型的。


用户


ODS主要用于策略型的用户 比如保险公司每天与客户交流的客服
DW主要用于战略型的用户,比如公司的高层管理人员


数据量(主要区别之一)


ODS只是包括当前数据
DW存储的是每一个主题的历史快照


OLTP与OLAP


  • 数据处理分类


联机事务处理OLTP(on-line transaction processing)
联机分析处理OLAP(On-Line Analytical Processing)
OLTP是传统的关系型数据库的主要应用
主要是基本的、日常的事务处理
例如银行交易
OLAP是数据仓库系统的主要应用
支持复杂的分析操作,侧重决策支持
并且提供直观易懂的查询结果
OLTP 系统强调数据库内存效率
强调内存各种指标的命令率,强调绑定变量,强调并发操作
OLAP 系统则强调数据分析
强调SQL执行市场,强调磁盘I/O,强调分区等


  • OLTP与OLAP之间的比较


image.png


OLTP


事务性非常高的系统
一般都是高可用的在线系统
以小的事务以及小的查询为主
评估其系统的时候,一般看其每秒执行的Transaction以及Execute SQL的数量
单个数据库每秒处理的Transaction往往超过几百个,或者是几千个
Select 语句的执行量每秒几千甚至几万个
典型的OLTP系统有电子商务系统、银行、证券等,如美国eBay的业务数据库


OLTP 瓶颈


CPU与磁盘子系统


CPU


表现在逻辑读总量与计算性函数


  • 逻辑读总量


逻辑读总量等于单个语句的逻辑读乘以执行次数
如果单个语句执行速度虽然很快,但是执行次数非常多,也可能会导致很大的逻辑读总量


  • 计算型的函数


如自定义函数、decode等的频繁使用
也会消耗大量的CPU时间,造成系统的负载升高
尽量避免计算过程,如保存计算结果到统计表

磁盘子系统



承载能力一般取决于它的IOPS处理能力
磁盘物理读一般都是db file sequential read(单块读)
读的次数非常频繁
如果频繁到磁盘子系统都不能承载其IOPS的时候,就会出现大的性能问题


OLTP设计和优化


Cache技术与B-tree索引技术



Cache技术


Cache决定了很多语句不需要从磁盘子系统获得数据
Web cache与Oracle data buffer对OLTP系统是很重要的

索引


语句越简单越好 这样执行计划也稳定
一定要使用绑定变量,减少语句解析,尽量减少表关联、尽量减少分布式事务
基本不使用分区技术、MV技术、并行技术及位图索引
因为并发量很高,批量更新时要分批快速提交,以避免阻塞的发生


在OLTP环境中使用位图索引很容易造成阻塞与死锁


  • 绑定变量


用户并发数很大,用户的请求十分密集
并且这些请求的SQL 大多数是可以重复使用的


OLTP 系统是一个数据块变化非常频繁,SQL 语句提交非常频繁的系统




相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
存储 SQL 分布式计算
MaxCompute 聚簇优化推荐原理
基于历史查询智能推荐Clustered表,显著降低计算成本,提升数仓性能。
253 4
MaxCompute 聚簇优化推荐原理
|
SQL 分布式计算 大数据
MaxCompute 聚簇优化推荐简介
在大数据计算中,Shuffle 是资源消耗最大的环节之一。MaxCompute 提供聚簇优化推荐功能,通过调整 Cluster 表结构,有效减少 Shuffle 量,显著提升作业性能并节省计算资源。实际案例显示,该功能可帮助用户每日节省数 PB 的 Shuffle 数据量及数千 CU 的计算成本。
195 0
|
6月前
|
Cloud Native 大数据 Java
大数据新视界--大数据大厂之大数据时代的璀璨导航星:Eureka 原理与实践深度探秘
本文深入剖析 Eureka 在大数据时代分布式系统中的关键作用。涵盖其原理,包括服务注册、续约、发现及自我保护机制;详述搭建步骤、两面性;展示在大数据等多领域的应用场景、实战案例及代码演示。Eureka 如璀璨导航星,为分布式系统高效协作指引方向。
|
9月前
|
机器学习/深度学习 数据采集 分布式计算
大数据分析中的机器学习基础:从原理到实践
大数据分析中的机器学习基础:从原理到实践
437 3
|
10月前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
518 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
10月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
472 8
|
11月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
421 2
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
257 3
|
消息中间件 分布式计算 druid
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
308 2
|
SQL 消息中间件 分布式计算
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
343 0
下一篇
oss云网关配置