开发者学堂课程【PostgreSQL云上开发实践:阿里云PostgreSQL_生态介绍】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/528/detail/7108
阿里云PostgreSQL_生态介绍
内容介绍
一、 PostgreSQL , GPDB 技术发展与云生态。
二、 PostgreSQL 与 GPDB 在 OLTP\OLAP 、 空间数据管。 理、图式搜索、全文检索、文本搜索、特征搜索、时序应用、流式数据处理、用户画像等场景的应用案例。
一、PostgreSQL, GPDB 技术发展与云生态。
1、 PostgreSQL 起源：
PostgreSQL 起源很早，大概1973年。最早的关系数据库叫 Ingres ,这个产品是由数据库界唯一图灵奖得主 Michael stone break 操刀设计。曾经Michael stone break 在某一个会议讲过，Ingres 是一个改变世界的产品,从 Ingres 衍生的许多产品来看,像 PB 、 Netezze 等等，有很多的数据库都是由 ingress 衍生的。Postgres 衍生为 postgressSQL 数据库也非常的多,比如有很多的国产数据库，也是起源于 PG 的。）：
2、PostgreSQL 趋势：
发展非常的迅猛，它是一个非常权威的数据库机构。基于网络的搜索热度，包括论坛的一些评论、还有一些综合因素。PG 数据库这几年一直都是往上发展的趋势，如果按照这个发展趋势，PG 很快就会进入行业前三。
阿里云PostgreSQL产能品体系：
（1）最基本的版本就是开源增强版（RDS for PG）基于开源的这个版本。做了是性能上的增长、还有安全上的增强。
（2）是 PPAS 。PPAS 是一个 PG 的商用数据库公司出的产品，产品的特点就是支持两套协议：一套是 oracle 协议，一套是 pg 协议。所以它的定义是 oracle 的兼容性。
（3）是面向 AP 的产品，叫 HybridDB for PostgreSQL 。它的定位是多机并行的边缘计算的版本。面向的是PB级的实时数据分析。
（4）第四个产品是目前正在研发的产品-PolarDB，它的架构实际上是计算跟存储分离，它完全兼容 PostgreSQL ，计算机存储分离版，存储借口自定义（支持下推计算），计算机节点支持水平扩展（定位高端客户、HTAO混合应用）它的定位相对于 PG 来说适用于更高端的客户。
二、PostgreSQL 与 GPDB 在 OLTP\OLAP 、 空间数据管理、图式搜索、全文检索、文本搜索、特征搜索、时序应用、流式数据处理、用户画像等场景的应用案例。
1、产品体系-RDS for PG:
（1）精准 GIS 模型：
在传统的空间数据处理能力的数据库里面，它们基本上都是使用哈希编码，使用哈希编码的话，它是基于一个标准的球体。那就是地球球体展开之后，针对这个平面去做编码。如果用哈希这个编码去算距离的话，它是非常的不准确的。所以在计算距离的时候，可以输入
SPHEROID["Krasovsky_ 1940",6378245.000000,298.299997264589]]这个 id 。这个 id 就相当于是一个坐标系，针对不同的位置就有不同的 ID ,去计算 ID 的时候，它会用到里面的一些参数。这样的话，最后根据两个经纬度去算它的距离，就会发现非常的准确，因为它使用了不同的半径。
（2）空间优势（与传统处理哈希编码的方式不一样，它处理非常的精准。因此在要求非常精准的这种计算的产品里面，包括测绘，天文，定位，自动驾驶等等，它就不能用哈希编码）
（3）强大 NOSQL 兼容（简化开发的设计，基于sql支持json,在json这个数据类型里面，有一个非常重要的点，不仅仅能存储，还能对照里面的数据经行修改、删除和查漏。json里面还能做高校的检索，比如说想查一张表里面key-value的数据有哪些，那就涉及到json里面的数据检索。在PG里面json是支持索引的，它可以对json里面所有的key-laue组合构建索引。所以可以针对key去做查询，也可以针对value去做查询。甚至可以定向索引，意思就是可以只针对某一些key去做索引，其他的key可以不建立索引。）
全面支持索引、增删改查、操作符、索引、编程语言
编程语言：可以在PG 里面写 java-script 的语法，然后去操作 json 的数据类型。
（4）支持全文搜索：在很多的应用检索里面都有全文检索的需求，比如阿里云的官网等等，都会有一些查询的需求。数据库如果不支持全文检索，就需要把数据同步到搜索引擎，然后搜索引擎再去搜索。在搜索引擎如果有其他字段筛选的需求的时候，就得做数据的交集。可以直接把应用程序做数据的合并，意思就是两边都查，查完之后做合并。那性能就会变得很差。而且也会涉及到几个问题：
第一个问题就是数据在数据库里面是保证原子型的，比如说写入了数据库的根形成了文本，这就可以在原子里面进行操作。但是当出了数据库之后，比如这个数据在同步到搜索引擎的过程中丢失，或者是在搜索引擎中写入的时候因为编码的原因，也可能导致丢失。那就不能保证数据的一致性。
第二个问题就是延迟的问题。数据在写到关系数据库之后，在同步到搜索引擎时，这中间会有延迟。所以就导致数据已经写进去了，立马查数据的话根本查询不到。
第三个问题就是维护的问题，数据要同步到搜索引擎中，就要有维护任务，也要有维护的成本。并且基于数据一致性的问题，我们在发现数据不一致之后，又需要再重新同步一遍。意思就是每天都要去全量修正这些数据，然后再结合全量加增量等等、内置了全文检索的功能，并且全文检索的功能跟搜索引擎的功能是对齐的。所以不需要把数据再同步到外面去，既保证了一致性、又降低了维护成本，同时又避免了一致性和延迟的问题。通过全文搜索，应用不需要额外搭建搜索引擎，只通过sql操作就可以实现模糊查询。
（5）支持 oss 云存储扩展：一个数据库不管怎么扩容，都会有上限，数据可本地的存储会用 SSD ,成本也相对比较高。再加上业务上的特点，业务上会有热数据跟冷数据的区别。热数据肯定是存储在本地的，但是对于访问比较少的冷数据如果存在本地或者是 SSD 就会非常的不划算，并且扩容有上限。所以就要结合oss。oss 可以是无限容量的存储，并且天然支持多副本。Oss 也有一个外部表的功能，可以把 oss 存到数据同时使用 SQL 去访问，就跟访问本地表是一样。甚至可以结合业务上的特性，去起调度任务。比如每个月月初把三个月的日志数据数据转移到oss里面去，这样来实现冷热数据的分离，对应用程序来说它是完全透明的。虽然目前单节点支持三个TB，但实际上可以存无限容量。就是因为oss存储的功能。
（6）支持数据仓库（不是阿里云加的功能，PG 9.6之后就开始支持边缘计算，有了边缘计算的能力，就拥有了可以支持分析查询的能力。比如说很多业务是半夜要跑的样表，跑报表是要花费大量的计算能力。非商业数据库除了 PG 以外，还没有任何一个数据库可以支持边缘计算，使用边缘计算的好处就是虽然是单节点，单个节点通常是多盒的，如果一个查询只能用一个盒的话，比如说我现在跑了一个查询，当中有一个盒很忙，但如果有了边缘计算就可以把盒全部调动起来去做边缘计算，原来跑几个小时的查询几分钟就可以做完。在单节点上面也能支持数据仓库的功能）
2.RDS PG HTAP (all in one 全栈数据库)
（1）跨数据库痛点：
·成本延迟、一致性、原子性、可靠性等问题。
·成本痛点：软件成本，硬件成本、研发成本。
PG 在里面承担了一个很重要的角色，就是所有的功能都支持，NoSQL、推荐引擎、分析数据库等等、在一个数据库里面都可以实现，所以说它是一个全栈数据库。它也不仅仅是一个全栈数据库，它相对于专业的数据库有一个非常大的特点：它的性能和功能并不会输于专业的数据库，很多功能不需要大改内核就能够把功能加进去。因此可以使用一个产品搞定所有的需求。
（2）为什么它是一个 RDS PG HTAP (all in one 全栈数据库)：
·why（它开放了很多接口，只要实现了这些接口，就可以增加相应的功能，包括空间数据的处理，它就是加了一些空间数据的类型、空间数据处理的函数操作符、还有索引的接口。索引其实也是开放接口，所以能针对空间数据去构建索引。）
-PG具有先天架构优势，
·vs（ PG 性能方面不会输于专业的数据库，大多数业务功能上是可以满足的）
·扩展能力（ PG 有架构的优势，它水平扩展的时候也可以通过加插件去把单节点变成多节点；垂直扩展有一个特点：PG 这个产品无论有多少个 CPU ,它都可以把 CPU 全部吃光，来支撑做一个很大的计算，所以，垂直扩展也特别的强）
（3）单实例数据管理能力：单个表的大小达到500万的时候就建议分表，因为达到500万性能下降就非常严重，在PG里面，单实例数据管理能力是非常强的。它对单个数据库来说是没有任何的限制，单个表可以达到32TB，一张表32TB还是在没有分表的情况下；如果分表的话指的是每一个分表可以放32TB，第三个就是每一行可以达到1.6TB，每一个字段可以达到1GB,大对象可以达到4TB，针对一个表行数不受限，不管存多少行都可以，单个表可以存多少列根据列的大小来决定，最多可以存1600列；一张表想建多少个索引就建多少个索引，不会有任何限制。
（4）单表管理能力：单表十亿性能几乎无衰减（仅增加索引深度开销）在没有任何分表的情况下，单张表加到一亿在加到十亿，它是没有任何性能衰减的，除了查询有一点点衰减。写入、查询、更新效率是非常高的。如果要看数据怎么生成的、数据怎么测的，就点击链接https:// github.com/digoal/blog/blob/master/201711/2017110746.md，
点进去就可以看到里面的详细测试指标，
（5）垂直扩展能力：（ PG 支持并行计算，在一个产品里面，既能支持TP也能支持AP，同时也可以支持资源隔离，去限制并行度，以此来限制 AP 和 TP 之间的干扰，这是它的垂直扩展的能力）
（6）跨机房容灾能力：现在有很多的业务都需要跨机房容灾能力。
举例：
比如在a机房布置了一个任务，b机房同样布置了一个任务。然后在上面使用智能DNS，把不同来源的任务分布到不同的机房。比如a机房的用户是来自华北的，B机房的任务是华南的。当华北的用户来访问，就会优先连接到a机房；华南的用户就会优先连接b机房。当a机房挂掉的时候，b机房可以接管a机房所有的业务，因为业务是无状态的。a机房的数据是来自华北的，那就肯定写在了a机房。当华北数据挂掉的时候，b机房的数据又没有a机房的数据，那华北的数据就不见了。
所以 PG 就有一个功能是支持订阅，可以帮助a机房的数据和b机房的数据之间相互订阅。b机房的数据可以订阅到a机房，a机房的数据可以订阅到b机房。订阅的操作也非常的简单，如果要同步到另外一个机房的数据，就需要创建一个 create publication ,然后把要同步的表添加到 create publication 里面；同时b机房是一个订阅端，创建一个 create subscrib,然后数据就会把a机房的数据源源不断同步到b机房，订阅还有一个特点就是断点续传，支持双向订阅、支持一对多订阅、支持多对一订阅、支持多对多订阅。断点续传的意思就是：当a机房，b机房的网络出现了问题，或者说a机房某一个数据库挂掉了，过一会它又起来。a机房同步到b机房的数据是绝对不可能丢掉的，数据同步，并且只同步一次。
（7)水平扩展能力+存储扩展能力：
（对pg这个产品来说，是开放式的接口，通过加FDW就可以实现多节点联合变成一个节点）
举例：比如原来有一个库，然后把它拆成三个库。有一个用户表，这个表只存了1/3的数据，不管访问的是a库，b库还是c库，看起来就像一个整体，它就是把库通过外表的方式，把它连接起来。
还有一个功能就是继承的功能，把这几张表集中到父表，这种程序访问的就是父表，它不知道下面有几张表，所以应用程序只需要访问父表就可以了。并且这个应用程序又可以访问a，也可以访问b，还可以访问c,它们都是一模一样的，都是一个全局的数据.比如带了一些while条件来查询父表，如果访问了子表，那么 while 条件直接下推到目标库。在目标库里面过滤完了再返回，甚至一些聚合操作join都可以下推。
所以这种 sharding 非常高效，对用户来说完全透明。
①!语法错误 ,传统企业数据库上云，突破单库容量限制
Ø 多库组集群、相互可访问、可写、可同步
Ø 功能点：FDW（外部表、远程表）DBLINK\匿名、逻辑订阅《》
FDW外部表：访问异库表，犹如访问本地表，没有限制，支持读写、JOIN等，支持PUSHDOWN算子。偶尔访问异常数据，采用 dblink ，或 fdw 、简化逻辑。
逻辑订阅（单元化）：经常访问的异地数据，使用订阅功能订阅到本地。
Oss 无限对象存储：用于冷存储，支持多实例共享访问。
3.产品体系—RDS for PPAS
(1）最大的特点：兼容 Oracle 语法、函数、存储过程；PL/SQL 的编程全部都支持。
(2)增强功能
① SQL 防火墙
（对一个数据库来说，最大的伤害就是来自于误操作。误操作是灾难性的伤害，因为如果有一个误操作的话，就会直接把你的数据库危害掉。因此，防火墙是一个非常重要的功能，那PPAS就是通过防火墙，防火墙支持学习模式。在开启了学习模式之后，PPAS会把所有访问过的对象进入到一个白名单里面。假设学习了一个礼拜，这一个礼拜该访问。都访问过了，所有的对象、所有的函数、都用到了，这个时候，把学习模式关掉，可以把学习模式切到被动模式，切入到被动模式之后，当访问到白色对象以外的内容的时候，就会发出一个警告，就把这个警告的信息写到一个日志里面，就是访问的某个对象，但是这个对象并不在白名单里面，什么时间哪个用户访问的什么内容等等都会记下来，被动模式不能避免去访问不该访问的对象。除了被动模式以外，还有一个强制模式，就是再过一段时间，已经坚信业务程序不再可能单以外的对象，这个时候就可以开始开主动模式，或者叫强制模式。这个时候，如果用户再访问到了白名单以外的对象的话，会直接报错。防火墙还有一个功能就是可以防止执行不带while条件的update、select。）
②自动索引推荐
（可以协助开发人员该建立什么样的索引，建完索引之后有多大的收益。这个是通过自动索引推荐来实践的，通常来说如果企业里面没有DBA的话，这个功能就非常好；但是如果企业里面有DBA，但是由于版本迭代太快了，有些时候DBA没有接入。）
③CPU\IO资源组管理
（在一个数据库里面，通常来说，会有多个业务，使用同一个数据库，就比如像双11，是一个非常重大的节日，在双11的时候就会做一些应用分级,,比如等级比较低的应用，为了就是把双11的重点应用的话去做降级，甚至直接关闭入口，这就是业务分级重要的体现，实际上，在企业里面也是一样的，如果数据库服务为多个业务，这些业务有重要的，有关键的，有不关键的，那这个时候，就希望在关键业务上给更多的资源，在非关键业务的时候，可以在空闲的时候给你资源，不空闲的时候，资源应该让给关键的业务来使用，这就是资源组的管理问题。）
4.去O生态-ADAM PPAS专版
(1）以往通过 mysql 改造的工作量太大了, mysql 单表超过500万之后，就会发现他性能下降非常严重，现在 PPAS 专版出来之后，PPAS 专版的兼容性非常的好，再结合评估报告，就会做到心里有底）
(2）下载https://www.aliyun.com product/adam
下载了之后只要再原来的数据库里面配一个用户，用户里面有采集、统计信息的权限就可以了，然后采集的数据就用来做评估分析。
首先会包括有哪些对象，有哪些 schem ；
第二个：它会评估出来这些对象有多少行，每个表有多大，有多少行。
第三个:它会输出兼容性的分析，这个库一共有6000多个对象，兼容也是6000多，不兼容的只有四个，有三个存储对象不兼容，还有一个视图不兼容。对用户来说，如果要把这个数据库签到PPAS的话，那就需要改四个东西，改动量非常的小。就可以帮助用户做到完全的心里有数。这是非常大的功能点。另外就是这个产品会帮忙做一些风险揭示，对不兼容的地方也会列出来，比如不兼容的 SQL 在什么地方，它都会帮你改出来。
这个产品还会帮忙做风险揭示，在这个报告里面，还有一个特点，比如说在 pepass 里面进行得很好的 SQL ，他会提出来这个产品在 pepass 里面会进行的更好。（这个报告会做加密处理）
对于不兼容的地方，它也会列出来，它会跟你说不兼容的 SQL 在什么地方，应该怎么样去改。在这个产品里面，会尽量的去减少跨库的访问，根据 sql 、存储过程、去把关系依赖列出来。比如说那几张表有一个 join 或者其它的东西，它会帮你理清楚，最后把原来的十个T或者十个T的数据切成若干个小的数据库。同时把依赖的对象告诉我们。因为这个产品也支持 dblink 的功能，它可以把原来的大库拆成若干个小库，并且这些小库看起来跟原来的大库没有太大的区别。如果大库跟小库有相互关联的话，看起来就几乎一样；但是如果没有关联的话，那就是做了一个垂直拆分，帮你拆成了几个库而已。所以使用这个产品会让你变得轻松起来，而且心中有数。使用这个产品之后，还会做性能的跟踪，就是迁到 PPAS 之后的性能是什么样的。
5.产品体系-HybridDB for PostgreSQL
（1)HybridDB for PostgreSQL(虽然支持数据分析的功能、边缘计算，但是是一个单节点的数据库，当容量超过3个TB需要分析的时候，就力不从心了。这里就有了 HybridDB for PostgreSQL
这个产品--分布式数据库，适合做实时数据分析)
（2）传统分库分表架构，它是基于中间件来做。有一个很大的问题，就是数据库之间是相互隔离的，所以对于架构下面的业务来说也不方便。比如说要做个跨库的访问，或者是跨库的 join，就必须收到应用程序再去做，因此，针对这个架构，它就适用于非常简单的业务，稍微涉及到有跨库业务的话，就完全不能支持。
（3）这下面的数据节点相互之间可以访问，当在做一个跨库 join 的时候，上层不需要介入，并且这个跨库join的性能非常的好。不需要把数据收到上层的节点去做，在上层节点，它只需要做 sql 的分布式执行计划，然后把这个计划下发到计算节点，计算节点去计算，计算完了之后再返回，因此主节点工作效率非常低。计算节点非常繁忙，每个计算节点只有一部分的数据。
（4）传统分库分表架构缺陷（限制、缺陷）
·扩容不方便（数据重分布）、分布健变很麻烦、分布键选择（架构设计）谨慎、跨库 JOIN 性能差、分布式事务性能差、SQL 限制多、功能缺失多、应用改造成本性能巨大、全局一致性时间点回复几乎不可能实现。、支持单条、多条、批量 UPDATE 、支持多值列的存储、搜索吧、显示查询（内容可见）
（5）使用 HybridDB 之后，这些问题都不存在。相应的计算节点，互相之间可以一块打通，除了架构之外，针对于分析型的业务场景 HybridDB ，它还有一些，另外的特点：
存储方面，它支持列存储；同时，也支持行存储，也就是说，行存和列存，它可以混合存。通常来说，一份数据，在刚刚写入进来时，访问的字段数比较多。比如物流轨迹数据，签收之前，查询的次数有点多，会把整条记录都查询出来，查询概率比较高，此时使用行存的性能就非常的好。因为一行存到一个块里面，访问一行里面的字段，只能访问一个块。加上索引，可以访问几个块。
第三个就是使用行存，不适合这种向量计算的。向量计算就是CPU一些硬件的功能，硬指令。硬指令就是针对同样的数据，可以一批一批的塞给CPU去计算，而如果使用行存的话，就没有办法一批一批的塞给它。所以使用内存的好处就突显出来了，每一列的数据类型一定是一样的，所以可以很方便的去结合CPU的硬指令。如果就是使用列存的话，压缩比会更高，因为都是同一个数据类型，那它的压缩比就会做的更高，这就是列存和行存，同时支持所带来的好处。行存可以支持查很多列的点查，列存支持高校的少量字段的统计与分析。
还有一个就是压缩这块，针对于分析型的场景数据量一定是非常庞大的，所以数据压缩的功能就显得非常的重要，第一个就是可以节省成本；第二个就是当 CPU 比较富裕的时候，使用压缩的功能，就有提升性能的作用。
（6）数据自动重分布（多阶段聚合-降低网络开销）：
例子：比如有一个a表，而且这个表是按c1这个字段去做分布项的，但是 group by 的是c2这个字段，这个时候就需要数据重分布，如果这张表有几十个亿，那这几十个亿都要在这张表的节点里面传几遍。那网上的开销就会变得很大。
所以HybridDB，也考虑到这个问题，然后就做了优化，这个 group by 先在计算节点里面做重分布做完了之后，中间结果再来做重分布，因此如果c2的字段值不多，在每一个计算节点 group by过后，需要重分布的数据量就非常的少，实际上，是做了一个多阶段的聚合，先在计算节点做，然后重分布最后，把节点发送给 master 节点，这就是他非常大的一个优势。
（7）HybridDB for PostgreSQL 定位：标准的关系数据库（依照标准关系数据库的理念来设计的，它完全兼容ACID，保证了数据的可靠性、一致性以及持久性），具备实时分析的能力。
·数据写入实时，查询无延迟，
·实时 BUILD 索引，查询无延迟，（需要的字段可以自己加索引，并且索引是实时BUILD，也就是当这个数据插入进去之后，通过索引去访问某一个数据，可以马上访问，不会有任何的延迟，）
（8）HybridDB for PostgreSQL 产品的特点：
①分析 SQL 兼容
·复杂分析 SQL、UDF
·窗口查询、Grouping Sets
·plpython, pljava,函数计算
·机器学习库MADIib
·空间数据PostGIS
·JSON、数组、全文检索
·估值计算HLL
·扩展插件(无限可能)
②海量OLAP
·多机并行计算
·行、列混存、支持压缩复合分布键、随机分布键范围、枚举分区
·hash\merge\nestloop JOIN
·多阶段 JOIN
·支持任意字段 JOIN
·MetaScan
③分级存储
·本地 SSD 存储
·4TB/主机(有效)
·OSS 二级存储
·30MB/s/线程物理 Mirror
·大事务，低延迟
9、产品体系—PolarDB for PastgreSQL
（分布分点有很多痛点，如果做跨库join，就要建立尾表，每一个节点上面都要有尾表，限制比较多）
（1）例子：
比如说在搞一些动之前，可能只有两个节点，平时的业务两个人就可以撑住，但是考虑搞一个大的促销活动，肯定要增加到六个节点。这个时候，我们可以在搞促销活动之前的，比如说十分钟，去准备一下，秒级就可以加上6个节点。这是架构的优势。相比传统的架构，会少一跳。因为上面的节点完全对等，同时这个产品完全兼容PG，如果在云上减少一跳，带来延迟，性能提升非常明显。
产品体系—PolarDB for PastgreSQL 的定位：在100个一百个TB级别同时支持AP和这个TP的业务。
10.阿里云PosterSQL产品生态
总结：
（1）PG 定位：是一个全栈数据库，以往用关系数据据+图计算引擎等等一系列产品才能够满足需求，那么在这一个产品里面就可以满足。百万级+小型 OLAO
（2）PPAS 定位：使用ADAM的产品可以直接迁到 PPAS ，Oacle 兼容性+复杂场景(UDF+时空+搜+图+流, HTAP 全栈)百万级 TPS +小型 OLAP
（3）PolarDB PG 定位：千万级 TPS +中型 OLAP
（4)HDB PG 定位：实时PB级 OLAP 分析
（5）云上一个企业有很多的数据库，比如说 ADS、ODOS、 Others、mysql 等一些数据库。这些数据库的数据要做打通的话就可以用数据传输服务和迁移服务，当在实时的数据同步，也可以做增量的数据同步。对于 saas 分析平台，可以直接使用云端的 QBI、DataV 分析平台，直接连到数据库产品，去做分析。
