开发者学堂课程【PostgreSQL云上开发实践:阿里云PostgreSQL_案例介绍4】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/528/detail/7103
阿里云PostgreSQL_案例介绍4
内容介绍：
RDS PG + HDB PG 应用案例
一、Case1优土-智能广告
二、Case2阿里游戏-单款游戏日增量亿+级 动态分析
三、Case3（时空分析）
四、Case4（批量数据圈选与导出）
五、Case5准实时订单分析系统（双十一业务）
六、案例小结
一、Case1优土-智能广告
· RDs PostgreSQL 角色
——FEED 表
· 命中规则，写入 FEED。(100万+行/s)
——计数表
· 分区:小时、天、周
· 实时写入、阅后即焚(300万行+/s)，合并到计数表
——实时统计表
· 阅后即焚(300万行+/s)、合并到实时统计表，提供毫秒级任意维度查询
——OSS 存储
· 计数表，上一小时、天、周，调度写入 OSS 。200MB/s并行读写速度。
· HDB PostgreSQL 角色
——对接 OSS (30MB/s/segment节点读写速度)、实时分析。无限扩容。
https://github.com/digoal/blog/blob/master/201711/ 20171126_01.md
· SQL 接口机器学习库 MADLib (支持几百个机器学习库函数、对应各种数学模型)，PL/R,PL/Python
案例-架构设计、代码、实操手册
· 阅后即焚-流式处理
https://github.com/digoal/blog/blob/master/201711/20171126_01.md https://github.com/digoal/blog/blob/master 201711/20171123_02.md https://github.com/digoal/blog/blob/master/201711/20171107_33.md https://github.com/digoal/blog/blob/master/201711/20171107_32.md https://github.com/digoal/blog/blob/master/201711/20171107_28.md
· MADlib机器学习库
https://github.com/digoal/blog/blob/master/201511/20151111_01.md http://madlib.apache.org/
https://cran.r-project.org/web/packages/PivotalR/vignettes/pivotalr.pdf https://pypi.python.org/pypi/pymadlib/0.1.4
二、Case2 阿里游戏-单款游戏日增量亿+级 动态分析
需求:
· JSON 内字段检索、索引、统计
· UDF-JSON 内容分裂
实时分析，举例(不限于此):
指定维度、日 UV ，新增 UV ，。。。透视
select x,count(distinct y) from tbl where dt=? group by x;
案例架构设计、代码、实操手册
https://www.postgresql.org/docs/10/static/datatype- json.html
https://www.postgresql.org/docs/10/static/functions- json.html
· RDSPGOSS 外部表文档:
https://help.aliyun.com/ knowledge_detail/43352.html
· HDBPG OSS 外部表文档:
https://help.aliyun.com/document_detail/35457.html
三、Case3（时空分析）
· GIS 与新零售
案例
· 新零售- LBS 数据应用，网格化运营
——业务背景: LBS 透视、圈人
——数据来源: ODPS
——数据规模:千亿+
——数据描述:商铺位置、用户轨迹数据，保留3个月。
——查询需求:
· 选址，分析某个商圈的对象透视，秒级
· 商铺地推，商圈周边的潜在目标人群，秒级
· 时间区间、空间覆盖查询，秒级
——并发需求:100+
——DML需求:OSS批量写入
· 黄金策
——精准筛选(任意字段、标签过滤、透视分析)，高效分析
痛点：
· 数据量较大
· 时间、空间、对象属性多维透视
· 有空间需求
· 透视实时响应
· 存储乱序、10放大
黄金策：
细分人群，精准营销
面向集团内部小二，提供从人群圈选，人群分析，人群放大，到投放渠道对接，提供营销全链路的数据支持，提升人群营销生产力
案例-架构设计、代码、实操手册
https://github.com/digoal/blog/blob/master/201706/20170629_01.md https://github.com/digoal/blog/blob/master/201709/20170918_02.md https://github.com/digoal/blog/blob/master/201708/20170820_02.md
https://github.com/digoal/blog/blob/master/201708/20170820_01.md https://github.com/digoal/blog/blob/master/201707/20170722_01.md https://github.com/digoal/blog/blob/master/201703/20170328_04.md
四、Case（批量数据圈选与导出）
· CDN,数据归集
· 某物流公司，数据归集
· 品牌圈人，导出
· 速度 ——~30MB/s/Segment
· DEMO
· 详见阿里云官网，HDBPG 产品手册
-create table tb1_output_struct(prefix text,struct json);
-insert into tb1_output_struct values('label1','{col:type,col2:type,....}');
-create writable table tbl_output(prefixtext,content json) bucket ...;
-insert into tbl_output select 'label1'as prefix,row_to json(t) (select ... from tblxxx where .....)as t;
案例-架构设计、代码、实操手册
https://github.com/digoal/blog/blob/master/201801/20180109_01.md
五、Case5准实时订单分析系统（双十一业务）
同时兼具 OLTP+OLAP:
1、大吞吐实时写入
2、海量实时分析(MPP架构)
3、行列混合存储
4、任意 JOIN、Groupby、Distinct
5、GIS 数据管理
6、JSON
7、HLL 估值
8、全文检索
9、多值(array,k-v)类型10、游标
11、传统数据库ACID标准
12、MADlib机器学习
案例-架构设计、代码、实操手册
· 案例
https://github.com/digoal/blog/blob/master/201707/20170728_01.md
https://github.com/digoal/blog/blob/master/201711/20171111_01.md
· OSS外部表
——RDS PGOSS外部表文档:
https://help.aliyun.com/knowledge_detail/43352.html
——HDBPGOSS外部表文档:
https://help.aliyun.com/document_detail/35457.html
六、案例小结
行业:
· 物联网、电商、生物、游戏
· 企业 CRM、传统行业、ZF
· 物流、音视频、BI、证券、金融
· 手机、
技术点：
· 搜索( ADHoc ,全文检索、模糊、数组)
· 相似搜索(图片、文本、数组)
· 用户画像、空间、时空、挖掘
· 图式搜索、流计算、秒杀、树结构、非结构化
· 单元化部署、sharding
