三张图读懂Greenplum在企业的正确使用姿势

简介: 第一张 老外通常如何使用数据仓库 数据仓库的使用人员通常是数据分析师,一个成熟的分析模型的建立,可能需要多次的数据模型分析试错。 通常试错不会允许直接在任务库中执行,因为很容易干扰任务库的任务处理,你一定不想因为试错导致报表不能按时输出吧,相信老板会让你好看的。 因此老外通常会将数据

背景

很多使用数据仓库的朋友可能都有过这样的困惑,为什么数据仓库的资源经常会出现不可控,或者抢用的情况,严重的甚至影响正常的作业任务,导致不能按时输出报表或者分析结果。

这里的原因较多,最主要的原因可能还是使用姿势不对,MPP是用极资源的产品,一伙人在抢资源当然跑不好。你想想一个跑道能让多架飞机同时起飞或降落吗?

第一张

老外通常如何使用数据仓库

数据仓库的使用人员通常是数据分析师,一个成熟的分析模型的建立,可能需要多次的数据模型分析试错。

通常试错不会允许直接在任务库中执行,因为很容易干扰任务库的任务处理,你一定不想因为试错导致报表不能按时输出吧,相信老板会让你好看的。

因此老外通常会将数据仓库分为两种,一种是跑任务的大数仓,所有的数据都在大数仓里面。

分析人员使用的是独立的小型分析库,如果要试错的话,向DBA提交测试数据的ETL申请,拿到数据后进行分析建模,在多次数据模型分析试错后找到成熟的数据分析模型,再提交到大数仓去RUN 任务。

由于分析人员可能较多,不同的分析人员可能会有同一份数据的分析需求,所以这种模式造成了大量的重复试错数据。每个分析师都要问DBA要数据,也会很痛苦。
screenshot

第二张

LOFTD消灭重复试错数据

LOFTD是一个独立的具备处理predict, project filter请求的文件服务器。

将LOFTD作为一个外部的数据源,读写非常方便。

数据分析人员向DBA提交数据抽取请求,数据被抽取到LOFTD,小型分析库通过外部表的方式访问LOFTD。

并且LOFTD可以共享给多个小型分析库使用,所以消除了数据的冗余。
screenshot

第三张

阿里云的用户如何正确使用ApsaraDB for Greenplum

阿里云的用户可以购买SATA+SSD混合存储的Greenplum,以非常高的性价比获得PB级的数据仓库(公测阶段只提供纯SSD的版本)。

用户可以使用ETL工具,或者mysql2pgsql, pgsql2pgsql将数据增量或全量的从MySQL或PgSQL同步到Greenplum。

成熟的分析任务可以跑在这个大的Greenplum数仓上面。

另外,分析人员要数据分析模型试错的话,可以将数据模型分析试错的样本数据导出到OSS。 Greenplum或者RDS PG可以通过OSS外部表直接访问试错数据,进行分析。

ETL可以选择阿里云市场中的ETL服务或者用户自己使用开源的ETL工具,都是非常方便的。

如果试错的数据量(样本数据)在百GB的规模,建议可以直接使用RDS PG
。 9.6还会推出CPU并行计算的功能,处理百GB毫无压力。 数据模型分析试错数据再大一点的话,建议还是购买小型的Greenplum。

这样就可以做到跑成熟的数据分析模型,试错两不误。

如果用户 为了节约成本一定要将成熟模型和试错放到一个数据仓库来跑的话,如果你不想因为任务跑不出来被老板批,建议错开任务的时间。
screenshot

小结

  1. 正确使用数仓(不管是Greenplum还是其他的数仓),必须要搞清楚跑成熟任务和分析人员模型试错是不要混到一起跑的,相互干扰,时间还漫长。 分析人员很贵的,多加几台机器,把模型试错和成熟任务分开,可以给分析人员灵活的发挥空间,又不耽误跑成熟模型,何乐不为呢。

祝大家玩得开心,欢迎随时来阿里云促膝长谈业务需求 ,恭候光临。

阿里云的小伙伴们加油,努力做 最贴地气的云数据库 。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
24天前
|
SQL 存储 消息中间件
日志服务 SLS 进阶:从采集到告警的全链路,半夜再也不用跳五台机器
本文分享作者从“半夜跳五台机器grep”到用阿里云SLS实现高效日志治理的实战经验:涵盖采集(一键接入、内网优先)、查询(SQL秒级分析、跨库查询)、告警(规则驱动、多通道通知)、计费避坑(索引精简、生命周期管理)及适用边界,助你告别运维焦虑。(239字)
156 1
|
25天前
|
弹性计算 关系型数据库 调度
弹性伸缩 ESS:流量来了自动加机器,我盯着它自己扩容了一晚上
本文以电商大促实战为例,通俗解析阿里云弹性伸缩(ESS):它不是服务器,而是智能“包工头”;详解目标追踪、定时等四种伸缩规则选法,揭示垂直伸缩与三大避坑要点,助你告别手动救火,实现成本降三成、稳如磐石。(239字)
109 0
|
25天前
|
SQL 存储 监控
ClickHouse 入门:亿级日志实时分析,先从一条 SQL 的工夫说起
同一条 SQL,MySQL 跑了 47 分钟,ClickHouse 4.8 秒。本文讲清列式存储为什么快、什么场景适合(流量/画像/BI)什么别碰(事务)、自建与托管怎么选,以及冷热分层、TTL、双副本的上手清单。
114 0
|
2月前
|
存储 JSON 缓存
商品条码查询接口
商品条码查询接口以 HTTP GET + JSON 提供条码到商品信息的映射能力。本文介绍其接入流程:鉴权使用 Authorization: APPCODE 请求头;入参 code 支持 69 开头 13 位、069 开头 14 位国内商品及 8 位短码、UPC-A、UPC-E;返回体 showapi_res_body 覆盖名称、商标、规格、参考价、厂商、产地、分类、生产许可、图片等字段。附 cURL、Python、Java、Node.js 调用示例与完整返回结构,讲解系统级与业务级两级错误码排查,并总结入参校验、图片时效处理、缓存、重试、监控等实践要点。
257 0
商品条码查询接口
|
2月前
|
JSON 安全 API
全国天气预报查询-当前24h天气-未来7天-未来15天-未来40天-历史天气数据完整接入指南
本文详述多天气API接口,涵盖历史天气、经纬度/景点/IP/区号邮编定位预报、24小时及7/15/40天预报等,支持灵活参数开关(指数、预警、逐时数据等),适用于能源、农业、文旅、智能硬件等多行业场景。
189 0
|
XML 机器学习/深度学习 JSON
|
开发者 黑灰产治理
阿里云开发者社区积分细则
阿里云开发者社区,积分规则、领取、过期等相关说明
4355 20
|
网络协议 Java 测试技术
配置中心原理和选型:Disconf、Apollo、Spring Cloud Config 和 Nacos
学完注册中心,再看配置中心这块,感觉简单很多,因为很多知识原理是相辅相成的
10199 0
配置中心原理和选型:Disconf、Apollo、Spring Cloud Config 和 Nacos
|
关系型数据库 MySQL Linux
MySQL数据库下载安装教程(Windows&Linux)
本文档详细介绍了MySQL的安装步骤,包括安装前的准备工作、下载安装包、Windows和Linux系统下的具体安装流程,以及如何配置MySQL服务、设置环境变量、启动服务和连接数据库等关键操作。