云上数据库架构综合解决方案|学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 快速学习云上数据库架构综合解决方案

开发者学堂课程【数据库上云实战云上数据库架构综合解决方案】学习笔记,与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/70/detail/1174


云上数据库架构综合解决方案

 

内容介绍:

一、OLTP+OLAP 混合解决方案

二、物联网云上综合解决方案

三、金融行业风控云上综合解决方案

四、车联网云上综合解决方案

五、社交应用云上综合解决方案

 

一、OLTP+OLAP 混合解决方案

例如大多业务场景是 OLTP OLAP 混合的,若存在实时的交易类的业务场景,在此之前还需要一个实时分析类的业务场景。比如提供一些实时报表的混合场景的展示,一个比较成熟的解决方案是通过MYSQL 数据库和 Hybrid forMySQL 数据库整合成一个整体,也可以将业务逻辑里面的一些实时性要求比较高的数据写入MYSQL 数据库里面。之后 MYSQL 数据库是可以通过 DTS 将用于做报表分析和实时分析的一些数据实时并同步到 Hybrid forMySQL 里面,利用 Hybrid forMySQL 高容量、高并发、高性能的特点去做一个实时报表的分析。最后通过一个类似于 QuickBI 生产实时报表的工具,来做一些实时报表的展示。

image.png

 

二、物联网云上综合解决方案

物联网整体业务架构比较复杂,实时性要求也很高,对于数据量非常大的场景,通过云上实现会有一整套综合性的解决方案,从图中可以清楚的看到,可以将一些像交易类、红包类这种实时交易类的一些业务数据写到 RDS 关系型数据库里面,通过数据同步的方式将更多的数据写到类似于 HBase 一个分布式数据库里面,然后是 HBase 能够对接OSS 存储,Spark 以及实际数据库,对于一个整体连接相关的各类的组件来做一个整体的解决方案,这些解决方案可以很好的解决在物联网中一些业务场景中加存储需求很大,实时性要求又很高的问题,对于一些个性化业务的推荐,以及各类实时报表的分析可以做的更好。例如市面常见的娃娃机,车联网等设备,普遍使用这套整体的解决方案来实现。

 image.png

 

三、金融行业风控云上综合解决方案

金融行业对于数据的可用性和数据安全要求是很高的,并且在风控场景下做一个更好的风控模型需要的数据来源也是很多的,整体的数据量也会非常大。所以针对这些数据,像金融行业风控云这样的解决方案,目前阿里云可以完成一整套相关产品,例如 MySQL 数据库来存储用户的基础信息。对于云 HBase 可以通过整合之前不同的一些数据,来构建一个完善的风控模型,利用一个智能的风控算法打造一整套的风控管理平台,这样能够解决很多客户所提出的数据量大。目前数据类型各种各样,例如结构化,非结构化,对于存储数据的一些需求,HBase 刚好可以采用稀疏存储模式,可以支撑 PB 级以上的数据库,也能够支持将历史的交易数据传输到H Base,用 Phoenix+二级索引的方式支撑并实时提供 OLAP 查询,能够支持更大并发量的实时数据的写入。

image.png


四、车联网云上综合解决方案

对于车联网云上综合解决方案的业务需求是同时写入的,数据量会很大,随着时间的积累,整体数据量存储会达到 PB 甚至 TB 级别,相当于平均每天会有几百 G 的数据写入,所有数据会根据业务场景区分,可能一些数据是冷数据,一些数据是热数据,因为前面提到过目前阿里 HBase 是有冷热数据存储分离的特性,这个特性能够很好的解决车联网方面的数据需求。通过实时的采集,从不同的终端将这些数据采集来,利用一些中间件对这些数据进行解析,将一些实时性交易类的数据写到MySQL 数据库里面,之后利用高并发的非结构化的数据频繁的写入到 HBase里面,HBase 可以将一些冷数据转储到 OSS 冷存储上,并结合 Spark 做一个更好的实时分析,从而满足毫秒级的响应。

image.png

 

五、社交应用云上综合解决方案

对于社交领域,目前整体的解决方案大概是像文章,帖子,短信等这些非结构化的一些数据,可以实时的写入到 HBase 里面,将一部分实时性要求很高的数据可以用 Redis 做缓存,便于使用者能够快速的拿到所想要查看的一些信息,对于日常的一些聊天内容的信息可以用类似于 MySQL 关系型的数据库进行一定的存储,也可以在社交领域使用 HBase 基于位置信息的查询,比如基于位置的智能化推荐,之后做一些自动化的快速搜索,以及用户的画像。

image.png

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
24天前
|
关系型数据库 MySQL Java
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
49 0
|
18天前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
78 6
|
25天前
|
数据库
数据库创建之主文件不能容纳副本的解决方案
数据库创建之主文件不能容纳副本的解决方案
28 1
|
2月前
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择:MySQL、PostgreSQL 还是 NoSQL?
在微服务架构中,数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中,我们将深入探讨传统的关系型数据库(如 MySQL 和 PostgreSQL)与现代 NoSQL 数据库的优劣势,并分析在微服务架构下的最佳实践。
|
2月前
|
消息中间件 缓存 监控
优化微服务架构中的数据库访问:策略与最佳实践
在微服务架构中,数据库访问的效率直接影响到系统的性能和可扩展性。本文探讨了优化微服务架构中数据库访问的策略与最佳实践,包括数据分片、缓存策略、异步处理和服务间通信优化。通过具体的技术方案和实例分析,提供了一系列实用的建议,以帮助开发团队提升微服务系统的响应速度和稳定性。
|
18天前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
57 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
5天前
|
关系型数据库 MySQL 数据库
一个 MySQL 数据库死锁的案例和解决方案
本文介绍了一个 MySQL 数据库死锁的案例和解决方案。
15 3
|
27天前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
149 1
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
14天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
41 3
|
15天前
|
NoSQL 数据管理 关系型数据库
利用阿里云的尖端数据库解决方案增强游戏数据管理
利用阿里云的尖端数据库解决方案增强游戏数据管理