开发者社区> 陆封> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

AnalyticDB for PostgreSQL 实时数据仓库上手指南

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。
+关注继续查看

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

adbpg

主要场景
scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:
arch

开通实例:
https://help.aliyun.com/document_detail/50200.html

客户端:
https://help.aliyun.com/document_detail/35428.html

产品文档:
ADB for PG 产品文档:https://help.aliyun.com/document_detail/49912.html

常用操作
实例规格选型指导:https://help.aliyun.com/document_detail/35406.html
表规划和设计指导:https://help.aliyun.com/document_detail/118150.html
性能调优指导:https://help.aliyun.com/document_detail/42688.html
建表语法:https://gpdb.docs.pivotal.io/500/ref_guide/sql_commands/CREATE_TABLE.html
列存压缩(压缩比3到10倍):https://help.aliyun.com/knowledge_detail/50320.html
分区键选择:https://help.aliyun.com/document_detail/120143.html
表分区(支持数字和日期类型上的多级分区):
https://help.aliyun.com/document_detail/118173.html
https://gpdb.docs.pivotal.io/43170/admin_guide/ddl/ddl-partition.html

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:https://help.aliyun.com/document_detail/121522.html

数据导入与同步:
数据同步和迁移方法总结:https://help.aliyun.com/document_detail/97411.html
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:https://help.aliyun.com/document_detail/117295.html
数据集成DataX 按小时/天同步数据到 ADB for PG:https://help.aliyun.com/document_detail/57681.html
ADB for PG OSS 外部表文档:https://help.aliyun.com/document_detail/35457.html

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:https://yq.aliyun.com/articles/699601

PostGIS 进行地理信息分析
https://help.aliyun.com/document_detail/127419.html

社区文档:
ADB for PG 社区官方手册:http://greenplum.org/docs/
MADlib SQL机器学习库:http://madlib.apache.org/documentation.html

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】
dingding2

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于AnalyticDB PostgreSQL Serverless版 构建用户行为分析全链路
行业综述AnalyticDB PostgreSQL助力某互联网企业完成数仓建设和行为日志的数据采集,入库,清洗,分析和洞察的全链路。将重点行为事件进行提取并于用户信息,订单信息,运营推广等维度和事实表进行关联分析,甄别关键链路并打造可视化大屏;于此同时,通过小批高频的入库能力,提供了近实时的业务追踪和运营分析手段。本次,引入Serverless版本的弹性能力和单点计算能力增强,对现有架构进行改造升
49 0
基于AnalyticDB PostgreSQL + OSS + SLS构建面向应用内行为数据的分析全链路
AnalyticDB PostgreSQL助力某互联网企业完成数仓建设和面向用户行为的全链路分析。通过Serverless版本的性能助力,轻松实现了10+的性价比提升。
170 0
基于AnalyticDB PostgreSQL + OSS + SLS构建面向应用内行为数据的分析全链路
AnalyticDB PostgreSQL助力某互联网企业完成数仓建设和面向用户行为的全链路分析。通过Serverless版本的性能助力,轻松实现了10+的性价比提升。
227 0
构建实时数据仓库首选,云原生数据仓库AnalyticDB for MySQL技术解密
阿里云分析型数据库重磅推出基础版,极大降低了用户构建数据仓库门槛。高度兼容MySQL,极低的使用成本和极高的性能,使中小企业也可以轻松的搭建一套实时数据仓库,实现企业数据价值在线化。 AnalyticDB for MySQL的产品系列包括基础版(单机版)和集群版,基础版为单个节点提供服务,极简的架构大大的降低了基础版的成本。
2067 0
AnalyticDB for PostgreSQL 空间数据分析实战
数字经济时代,数据是其关键的生产资料,而空间信息作为一重要属性集和模型特征集在业界形成广泛共识。政府层面,美国911之后,通信运营商为政府相关部门(如公安、交通、应急指挥等)提供手机定位信息受法律保护;社会部分行业,尤其涉及GIS、交通、物流、吃住行游、自动驾驶等,无不与空间信息强相关。由此,空间数据的存储、空间查询与分析等特性成为数据库的标配。本文主要介绍如何利用AnalyticDB for PostgreSQL对空间数据进行管理和分析应用。
1576 0
分析型数据库 PostgreSQL版本实例规格定义变更
信息摘要: 实例由按多个“计算组”组成,改为由按“节点”组成。一个节点只对应一个数据分区,简化规格定义,遵循标准集群数据库的模式。适用客户: 数据仓库/大数据/数据分析/数据库用户;政府/金融/零售/互联网等行业版本/规格功能: AnalyticDB for PostgreSQL 实例规格定义由多个“计算组”组成改为由多个“节点”组成。
863 0
快数据时代如何构建实时数据仓库,AnalyticDB for MySQL告诉你
FastData具有两个显著特点:第一,难以置信的速度和体量产生数据;第二,数据分析期望秒级甚至毫秒返回。FastData的价值在于其实时性,实时获取和处理数据。 在快数据时代,企业客户通常面临以下几个问题: 如何了快速解行业特性,比如行业的旺季是什么时候,还有哪些人群是自己项目的潜在意向客户,以及客户的消费观念发生了哪些变化; 如何快速了解自己的同行,如何提高自身企业的竞争力,帮助企业获得非常有价值的商业情报; 如何通过增加推荐快速提高产品销量; 企业领导址如何快速了解市场反应,从而为企业的未来作出抉择;为了帮助企业快速转身,助力企业实现数据价值在线化和实时化。
2546 0
外网访问内网PostgreSQL数据库
本地安装了一个PostgreSQL数据库,只能在局域网内访问到,怎样从外网也能访问到本地的PostgreSQL数据库呢?本文将介绍具体的实现步骤。 1. 准备工作 1.1 安装并启动PostgreSQL数据库 默认安装的PostgreSQL数据库端口是5432。
2210 0
linux下Postgresql-9.2安装及数据库的创建过程
公司写部署手册需要,现总结一些linux下postgresql的安装及数据库创建的详细步骤吧! 1.1.1  软件安装   1.设置用户组和用户级别     Postgresql不能以root身份运行,要以其他的身份运行,所以必须建立对应的用户和组。
1510 0
+关注
陆封
阿里云 HybridDB for PostgreSQL 企业数仓云服务
26
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载