开发者学堂课程【数据库上云实战:云上数据库架构综合解决方案】学习笔记,与课程紧密联系,让用户快速学习知识
课程地址:https://developer.aliyun.com/learning/course/70/detail/1174
云上数据库架构综合解决方案
内容介绍:
一、OLTP+OLAP 混合解决方案
二、物联网云上综合解决方案
三、金融行业风控云上综合解决方案
四、车联网云上综合解决方案
五、社交应用云上综合解决方案
一、OLTP+OLAP 混合解决方案
例如大多业务场景是 OLTP 和 OLAP 混合的,若存在实时的交易类的业务场景,在此之前还需要一个实时分析类的业务场景。比如提供一些实时报表的混合场景的展示,一个比较成熟的解决方案是通过MYSQL 数据库和 Hybrid forMySQL 数据库整合成一个整体,也可以将业务逻辑里面的一些实时性要求比较高的数据写入MYSQL 数据库里面。之后 MYSQL 数据库是可以通过 DTS 将用于做报表分析和实时分析的一些数据实时并同步到 Hybrid forMySQL 里面,利用 Hybrid forMySQL 高容量、高并发、高性能的特点去做一个实时报表的分析。最后通过一个类似于 QuickBI 生产实时报表的工具,来做一些实时报表的展示。
二、物联网云上综合解决方案
物联网整体业务架构比较复杂,实时性要求也很高,对于数据量非常大的场景,通过云上实现会有一整套综合性的解决方案,从图中可以清楚的看到,可以将一些像交易类、红包类这种实时交易类的一些业务数据写到 RDS 关系型数据库里面,通过数据同步的方式将更多的数据写到类似于 HBase 一个分布式数据库里面,然后是 HBase 能够对接OSS 存储,Spark 以及实际数据库,对于一个整体连接相关的各类的组件来做一个整体的解决方案,这些解决方案可以很好的解决在物联网中一些业务场景中加存储需求很大,实时性要求又很高的问题,对于一些个性化业务的推荐,以及各类实时报表的分析可以做的更好。例如市面常见的娃娃机,车联网等设备,普遍使用这套整体的解决方案来实现。
三、金融行业风控云上综合解决方案
金融行业对于数据的可用性和数据安全要求是很高的,并且在风控场景下做一个更好的风控模型需要的数据来源也是很多的,整体的数据量也会非常大。所以针对这些数据,像金融行业风控云这样的解决方案,目前阿里云可以完成一整套相关产品,例如 MySQL 数据库来存储用户的基础信息。对于云 HBase 可以通过整合之前不同的一些数据,来构建一个完善的风控模型,利用一个智能的风控算法打造一整套的风控管理平台,这样能够解决很多客户所提出的数据量大。目前数据类型各种各样,例如结构化,非结构化,对于存储数据的一些需求,HBase 刚好可以采用稀疏存储模式,可以支撑 PB 级以上的数据库,也能够支持将历史的交易数据传输到H Base,用 Phoenix+二级索引的方式支撑并实时提供 OLAP 查询,能够支持更大并发量的实时数据的写入。
四、车联网云上综合解决方案
对于车联网云上综合解决方案的业务需求是同时写入的,数据量会很大,随着时间的积累,整体数据量存储会达到 PB 甚至 TB 级别,相当于平均每天会有几百 G 的数据写入,所有数据会根据业务场景区分,可能一些数据是冷数据,一些数据是热数据,因为前面提到过目前阿里 HBase 是有冷热数据存储分离的特性,这个特性能够很好的解决车联网方面的数据需求。通过实时的采集,从不同的终端将这些数据采集来,利用一些中间件对这些数据进行解析,将一些实时性交易类的数据写到MySQL 数据库里面,之后利用高并发的非结构化的数据频繁的写入到 HBase里面,HBase 可以将一些冷数据转储到 OSS 冷存储上,并结合 Spark 做一个更好的实时分析,从而满足毫秒级的响应。
五、社交应用云上综合解决方案
对于社交领域,目前整体的解决方案大概是像文章,帖子,短信等这些非结构化的一些数据,可以实时的写入到 HBase 里面,将一部分实时性要求很高的数据可以用 Redis 做缓存,便于使用者能够快速的拿到所想要查看的一些信息,对于日常的一些聊天内容的信息可以用类似于 MySQL 关系型的数据库进行一定的存储,也可以在社交领域使用 HBase 基于位置信息的查询,比如基于位置的智能化推荐,之后做一些自动化的快速搜索,以及用户的画像。