经过阿里云ApsaraDB小伙伴们几个月的不懈努力,Greenplum 终于上云了。
(这里有PostgreSQL内核小组的宇宙第一小鲜肉,还有宇宙无敌老腊肉)
云数据库Greenplum版(ApsaraDB for Greenplum)是基于Greenplum开源数据库项目的MPP大规模并行处理数据仓库产品,提供全面的SQL支持(包括符合SQL2008标准的OLAP分析函数),业界流行的BI软件都可以直接使用Greenplum进行在线业务分析。支持行存储和列存储混合模式,提高分析性能;同时提供数据压缩技术,降低存储成本。支持XML、GIS地理信息、模糊字符串等丰富的数据类型,为物联网、互联网、金融、政企等行业提供丰富的业务分析能力。
Greenplum从2008年在国内推广以来,生态已经非常的成熟,在 运营商、金融、物流、公安、政府、互联网 等行业都有非常庞大的用户群体。
从百TB到PB的OLAP仓库,Greenplum无疑是非常好的选择。
阿里云并不是简单的将Greenplum云化,还添加了一些非常贴地气的特性:
内核增强
支持插件 oss_ext、PostGIS、orafunc(Oracle兼容包)、DBLINK、MADlib(机器学习方面的函数库)、fuzzystrmatch插件,字符串模糊匹配;
(OSS_EXT插件,读取存放在OSS(Open Storage Service)上的文件。)
- 支持 create extension 语法创建插件
- 通过 dbsync 从 mysql,pg,ppas,gp 全量或增量同步到 pg,ppas,gp
- 引入第三方合作伙伴 ETL
- 支持ORCA优化器
- 只读实例(只允许select,drop,delete,copy to,truncate)
- 支持rds_superuser
- 修复BUG , gp_workfile_limit_per_segment 无法限制spill file使用量
- 修复BUG , Primary与Mirror数据同步缺省为非同步模式
- 修复BUG , copy 内存泄露
- 支持限制单个segment临时文件空间
异构数据导入
通过MySQL数据库可以通过mysql2pgsql进行高性能数据导入,同时业界流行的ETL工具均可支持以Greenplum为目标的ETL数据导入
OSS异构存储
可将存储于OSS中的格式化文件作为数据源,通过外部表模式进行实时操作,使用标准SQL语法实现数据查询
透明数据复制(实现HTAP)
支持数据从PostgreSQL/PPAS透明流入,持续增量无需编程处理,简化维护工作,数据入库后可再进行高性能内部数据建模及数据清洗
安全性
IP白名单配置
最多支持配置1000个允许连接RDS实例的服务器IP地址,从访问源进行直接的风险控制。
DDOS防护
在网络入口实时监测,当发现超大流量攻击时,对源IP进行清洗,清洗无效情况下可以直接拉进黑洞。
一键扩容
对于用户来说,再也不需要为数据的爆炸性增长措手不及,只需在控制台点一个按钮,轻松应对扩容需求。(公测阶段暂不提供)
方案介绍
GIS地理数据分析方案
阿里云ApsaraDB for RDS(PostgreSQL)及Greenplum都已经内置符合OpenGIS标准的空间数据库引擎,可以实现实时的定位及路劲规划,并直接支持业界广泛使用的ArcGIS。用户可以通过在应用程序中使用简单的SQL操作配合GIS函数,即可处理复杂的空间地理数据模型。得益于Greenplum的OLAP数据综合分析,用户更可以实现基于地理信息的海量数据分析工作,为物联网、移动互联网、物流配送、智慧出行(智慧城市)、LBS位置服务、O2O业务系统等提供强大的决策分析支持。
OLTP+OLAP综合解决方案
用户现有Greenplum数据仓库可以通过原生的导出及导入方式将数据直接迁移到ApsaraDB for Greenplum实现云端数据仓库的OLAP在线分析使用。用户无需再进行复杂的Greenplum运维管理,同时阿里云为用户提供完整的扩容及可用性保障,让DBA及开发人员专注于如何通过SQL提供企业的业务生产力。通过阿里云ApsaraDB for RDS用户可以实现高性能的OLTP应用,同时RDS(PPAS)还提供了Oracle语法及PL/SQL的高度兼容特性;结合Greenplum后,所有前端RDS(PPAS)及RDS(PostgreSQL)中的OLTP数据将可实现与Greenplum的流式透传,用户只需要简单配置,即可实现OLTP到OLAP数据库的数据同步。
Quick BI数据报表整合
Greenplum通过阿里云 数加 平台的 Quick BI报表功能,可以直接在线上实现丰富的可视化数据展现,与此同时在这里所生产的报表还可以平滑嵌入到自有系统,与用户的软件合为一体。Greenplum强劲的OLAP分析能力及高性能数据库列存,为多维分析提供性能的有效保障,从百GB到百TB性能平滑扩展,并支持复杂SQL查询。
品尝地址
公测申请
https://cn.aliyun.com/product/gpdb
欢迎提出宝贵建议, 欢迎随时来阿里云促膝长谈业务需求 ,恭候光临。
还有一大波特性将要来袭
- 流式备份与恢复
支持部分节点执行计划
部分节点参与运算,而非所有节点
- 支持节点间 connection pool
- 支持 replication table
- OSS外部表直接写入
- LLVM动态编译
。。。 。。。
阿里云的小伙伴们加油,努力做 最贴地气的云数据仓库 。