AnalyticDB for PostgreSQL 实时数据仓库上手指南-阿里云开发者社区

AnalyticDB for PostgreSQL 实时数据仓库上手指南

2019-04-01 6609

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云原生数据仓库 ADB PostgreSQL，4核16G 50GB 1个月

简介： AnalyticDB for PostgreSQL 提供企业级数据仓库云服务，基于开源Greenplum构建，采用MPP架构，支持1000+节点PB级数据的实时分析。

+关注继续查看

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务，基于Greenplum 开源数据库项目，由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL，标准事务隔离级别，支持行存储和列存储、即满足高性能在线交互分析需要，也可以进行离线数据处理清晰，主要特点有：

adbpg

主要场景
scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等，同步交易库数据到 ADBPG，构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG，支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析，支持在线查询OSS分布式云存储上的格式化数据

架构介绍：
arch

开通实例：
https://help.aliyun.com/document_detail/50200.html

客户端：
https://help.aliyun.com/document_detail/35428.html

产品文档：
ADB for PG 产品文档：https://help.aliyun.com/document_detail/49912.html

常用操作
实例规格选型指导：https://help.aliyun.com/document_detail/35406.html
表规划和设计指导：https://help.aliyun.com/document_detail/118150.html
性能调优指导：https://help.aliyun.com/document_detail/42688.html
建表语法：https://gpdb.docs.pivotal.io/500/ref_guide/sql_commands/CREATE_TABLE.html
列存压缩（压缩比3到10倍）：https://help.aliyun.com/knowledge_detail/50320.html
分区键选择：https://help.aliyun.com/document_detail/120143.html
表分区（支持数字和日期类型上的多级分区）：
https://help.aliyun.com/document_detail/118173.html
https://gpdb.docs.pivotal.io/43170/admin_guide/ddl/ddl-partition.html

数据写入方式总结：
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例：https://help.aliyun.com/document_detail/121522.html

数据导入与同步：
数据同步和迁移方法总结：https://help.aliyun.com/document_detail/97411.html
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG：https://help.aliyun.com/document_detail/117295.html
数据集成DataX 按小时/天同步数据到 ADB for PG：https://help.aliyun.com/document_detail/57681.html
ADB for PG OSS 外部表文档：https://help.aliyun.com/document_detail/35457.html

ETL作业调度：
通过Dataworks 进行ADB for PG作业调度：https://yq.aliyun.com/articles/699601

PostGIS 进行地理信息分析
https://help.aliyun.com/document_detail/127419.html

社区文档：
ADB for PG 社区官方手册：http://greenplum.org/docs/
MADlib SQL机器学习库：http://madlib.apache.org/documentation.html

最佳实践：
数据倾斜的监测和实践：https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理)：https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群：
AnalyticDB for PG 在线技术支持钉钉群，包括在线技术专家支持，新特性发布，优惠活动发布。【强烈推荐！】
dingding2