云上数据库架构综合解决方案|学习笔记

开发者学堂课程【云数据库选型及架构设计：云上数据库架构综合解决方案】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/596/detail/8559

云上数据库架构综合解决方案

目录

一、OLTP+OLAP 解决方案

二、物联网云上综合解决方案

三、金融行业风控云上综合解决方案

四、车联网云上综合解决方案

五、社交应用云上综合解决方案

一、OLTP+OLAP 解决方案

1.实时的交易类数据写入 RDS MySQL

2.OLAP 的大数据量数据同步至 Hybrid forMySQL

3.通过报表组件( QuickBI )生产实时报表

一部分业务场景，是 ortp 和 orap 混合的一些业务场景，也就是说有一些实时的交易类的一些业务场景，但在这些业务场景之上，其实还需要一个实时分析类的一个业务场景。比如说提供一些实时报表，一些展示，在向这一类的混合场景的话，目前比较成熟的一个解决方案是通过 Hybrid for MySQL 数据库整合成一个整体的架构方案去做的。也就是说，可以把业务逻辑里面的一些实时性、要求非常高的一些数据写到 MySQL 数据库里面去，然后 MySQL 数据库是可以通过 DTS 将用于做报表分析的数据实时的同步到 Hybrid for MySQL 里，然后 Hybrid for MySQL 利用它的高容量、高并发、高性能的特点去做一个实时报表的分析。最后通过一个类似于 KPI 的这种实时报表的一些展示。

二．物联网云上综合解决方案

数据库事务交易

1、单表PB

2、单条查询平均10ms

3、写入TPS超过1亿

4、读取TPS超过1亿

从大图里可以看到，多项交易类，红包类，最终实施的交易类的一些业务数据，是写到关系型数据库里面，然后通过一些数据同步的方式，将更多的一些数据写到类似于像 hbase 分布式的一个数据库里面，然后 hbase 是可能够对接于比如 oss 存储，smart ，语音数据数据库，整体的连接是一个整体的相关的各类的一些组件，做一个整体的一个解决方案。这些解决方案就可以很好地解决掉，比如多物联网，互联网的一些业务场景下，存储需求特别大，实时性要求又非常高的一些业务场景，从而做一些更好的，比如说个性化的一些业务的推荐，以及各类的一些实时报表的一些分析。比如现在一些市场上经常见到的娃娃机，车联网，这些相关设备的话，很多都是使用这一套整体的解决方案去做。

三．金融行业风控云上综合解决方案

金融行业对于数据的可用性跟数据安全是要求非常高，在风控场景下 为了做一个更好的风控模型，它需要的数据来源也是非常多，整体的数据量是非常大的，所以针对于这些数据金融行业风控原装的一个解决方案，阿里云相关的产品是可以做一整套的。例如使用 my sol 数据库，存储用户的一个基础信息数据库，unity base 可以通过整合原来的一些数据，构建一个完善的一个风控模型。利用一个智能的一个风控算法，打造一个整套风控管理的平台，能够解决掉很多客户的风控模型里比如说数据量特别大，数据类型有各种各样，有结构化、非结构化等各类一些存储的需求。

HBase 刚好就是采用这种稀疏存储的一个方式，通过 pb 级以上的一些数据库，然后也可以支持把那些历史的一些交易数据，去传输到 HBase 上，用 phoenix 加二级索引的方式去支撑，此时 ortp 的一些查询。然后能够支持更大并发量的实时数据的一个协路。

场景∶通过整合与分析用户交易、企业数据和爬虫抓取信息，构建反欺诈、资信用户画像库，提供大数据风控 SaaS 服务。

痛点1∶日均百 GB 爬虫、全量200T+、第三方行为数据，结构化、非结构化存储，传统 DB 无法支撑

解决方案: HBase 采用稀疏存储模式，支撑 PB 级结构化/非结构化存储，提供全量详单查询

痛点2∶历史海量数据需要同时支持实时 OLTP 和离线 OLAP ，传统数据库无法满足

解决方案: Phoneix +二级索引支持实时 OLTP 查询，开源生态对接 Spark ，提供 OLAP 查询

痛点3∶千万级实时数据写入，传统数据库写入时效性差

解决方案:区别传统数仓的 B+ 树，HBase 支持 LSM 存储模式，专门应对高并发写入场景

痛点4∶运维复杂、期望平台有较强的运维能力解决方案: HBase 在阿里内部有1万台生产集群案例，有成熟的运维体系。

四．车联网云上综合解决方案

场景∶百万车载终端，百TB级数据不间断写入，数十亿级数据量下分页查询和车辆历史轨迹查询要求毫秒级响应。

痛点：日均百 GB 级别，全量数据 TB 级别，冷数访问频率低

解决方案：支持冷数据存放在 OSS 之中，使用 ZSTD 压缩算法，降低3倍存储成本。

痛点:车载终端数据高并发写入，传统数据库延迟高

解决方案：HBase 采用 LSM 存储模型，适合物联网高并发写入，同时满足高并发读

车联网综合解决方案，其业务需求就是同时写入的数据量会非常大，而且随着时间的积累，整体存储量会达到 TB 甚至 PB 级。每天平均可能算下来会有几百G的数据的一个协路。可能一些数据为冷数据，一些数据为热数据。

目前阿里 HBase 存储数据是冷热数据存储分离，这一特性能够很好的解决车联网一方面的需求，车联网数据通过实时的采集。通过中间界对数据做出解析。将实事性交易性数据写出录入 my sql 。高并发，非结构化的数据。频繁写入HBase 中去，HBase 可以将一些冷数据转储在 Oss 存储当中，然后结合 Spark 去做更好的实施分析，同时满足毫秒级别的响应。

五．社交应用云上综合解决方案

目前整体解决方案：

文章，帖子，短消息这类非结构化的数据，适时通过写入 HBase 将一部分要求非常高的数据。使用 redis 做一个缓存，便于使用者快速查看所需信息

对于日常聊天信息，可以使用像 MySql 关系类型的数据库进行一定存储。

用于 HBase 基于信息的一些查询，可以在社交领域做出对于未知智能化的推荐，自动化快速搜索，以及用户的画像的一些事情。