云上数据库架构综合解决方案|学习笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习云上数据库架构综合解决方案

开发者学堂课程【数据库上云实战云上数据库架构综合解决方案】学习笔记,与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/70/detail/1174


云上数据库架构综合解决方案

 

内容介绍:

一、OLTP+OLAP 混合解决方案

二、物联网云上综合解决方案

三、金融行业风控云上综合解决方案

四、车联网云上综合解决方案

五、社交应用云上综合解决方案

 

一、OLTP+OLAP 混合解决方案

例如大多业务场景是 OLTP OLAP 混合的,若存在实时的交易类的业务场景,在此之前还需要一个实时分析类的业务场景。比如提供一些实时报表的混合场景的展示,一个比较成熟的解决方案是通过MYSQL 数据库和 Hybrid forMySQL 数据库整合成一个整体,也可以将业务逻辑里面的一些实时性要求比较高的数据写入MYSQL 数据库里面。之后 MYSQL 数据库是可以通过 DTS 将用于做报表分析和实时分析的一些数据实时并同步到 Hybrid forMySQL 里面,利用 Hybrid forMySQL 高容量、高并发、高性能的特点去做一个实时报表的分析。最后通过一个类似于 QuickBI 生产实时报表的工具,来做一些实时报表的展示。

image.png

 

二、物联网云上综合解决方案

物联网整体业务架构比较复杂,实时性要求也很高,对于数据量非常大的场景,通过云上实现会有一整套综合性的解决方案,从图中可以清楚的看到,可以将一些像交易类、红包类这种实时交易类的一些业务数据写到 RDS 关系型数据库里面,通过数据同步的方式将更多的数据写到类似于 HBase 一个分布式数据库里面,然后是 HBase 能够对接OSS 存储,Spark 以及实际数据库,对于一个整体连接相关的各类的组件来做一个整体的解决方案,这些解决方案可以很好的解决在物联网中一些业务场景中加存储需求很大,实时性要求又很高的问题,对于一些个性化业务的推荐,以及各类实时报表的分析可以做的更好。例如市面常见的娃娃机,车联网等设备,普遍使用这套整体的解决方案来实现。

 image.png

 

三、金融行业风控云上综合解决方案

金融行业对于数据的可用性和数据安全要求是很高的,并且在风控场景下做一个更好的风控模型需要的数据来源也是很多的,整体的数据量也会非常大。所以针对这些数据,像金融行业风控云这样的解决方案,目前阿里云可以完成一整套相关产品,例如 MySQL 数据库来存储用户的基础信息。对于云 HBase 可以通过整合之前不同的一些数据,来构建一个完善的风控模型,利用一个智能的风控算法打造一整套的风控管理平台,这样能够解决很多客户所提出的数据量大。目前数据类型各种各样,例如结构化,非结构化,对于存储数据的一些需求,HBase 刚好可以采用稀疏存储模式,可以支撑 PB 级以上的数据库,也能够支持将历史的交易数据传输到H Base,用 Phoenix+二级索引的方式支撑并实时提供 OLAP 查询,能够支持更大并发量的实时数据的写入。

image.png


四、车联网云上综合解决方案

对于车联网云上综合解决方案的业务需求是同时写入的,数据量会很大,随着时间的积累,整体数据量存储会达到 PB 甚至 TB 级别,相当于平均每天会有几百 G 的数据写入,所有数据会根据业务场景区分,可能一些数据是冷数据,一些数据是热数据,因为前面提到过目前阿里 HBase 是有冷热数据存储分离的特性,这个特性能够很好的解决车联网方面的数据需求。通过实时的采集,从不同的终端将这些数据采集来,利用一些中间件对这些数据进行解析,将一些实时性交易类的数据写到MySQL 数据库里面,之后利用高并发的非结构化的数据频繁的写入到 HBase里面,HBase 可以将一些冷数据转储到 OSS 冷存储上,并结合 Spark 做一个更好的实时分析,从而满足毫秒级的响应。

image.png

 

五、社交应用云上综合解决方案

对于社交领域,目前整体的解决方案大概是像文章,帖子,短信等这些非结构化的一些数据,可以实时的写入到 HBase 里面,将一部分实时性要求很高的数据可以用 Redis 做缓存,便于使用者能够快速的拿到所想要查看的一些信息,对于日常的一些聊天内容的信息可以用类似于 MySQL 关系型的数据库进行一定的存储,也可以在社交领域使用 HBase 基于位置信息的查询,比如基于位置的智能化推荐,之后做一些自动化的快速搜索,以及用户的画像。

image.png

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
13天前
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择:MySQL、PostgreSQL 还是 NoSQL?
在微服务架构中,数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中,我们将深入探讨传统的关系型数据库(如 MySQL 和 PostgreSQL)与现代 NoSQL 数据库的优劣势,并分析在微服务架构下的最佳实践。
|
13天前
|
设计模式 缓存 关系型数据库
探索微服务架构中的数据库设计挑战
微服务架构因其模块化和高扩展性被广泛应用于现代软件开发。然而,这种架构模式也带来了数据库设计上的独特挑战。本文探讨了在微服务架构中实现数据库设计时面临的问题,如数据一致性、服务间的数据共享和分布式事务处理。通过分析实际案例和提出解决方案,旨在为开发人员提供有效的数据库设计策略,以应对微服务架构下的复杂性。
|
13天前
|
消息中间件 缓存 监控
优化微服务架构中的数据库访问:策略与最佳实践
在微服务架构中,数据库访问的效率直接影响到系统的性能和可扩展性。本文探讨了优化微服务架构中数据库访问的策略与最佳实践,包括数据分片、缓存策略、异步处理和服务间通信优化。通过具体的技术方案和实例分析,提供了一系列实用的建议,以帮助开发团队提升微服务系统的响应速度和稳定性。
|
2月前
|
运维 数据库 数据库管理
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
【9月更文挑战第4天】赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
|
3天前
|
SQL 关系型数据库 MySQL
php学习笔记-连接操作mysq数据库(基础)-day08
本文介绍了PHP中连接操作MySQL数据库的常用函数,包括连接服务器、设置字符集、关闭连接、选择数据库、结果集释放、获取影响行数以及遍历结果集等操作。通过书籍查询的实例演示了如何使用这些函数进行数据库操作,并提供了一个PHP操纵MySQL数据库的模板。
php学习笔记-连接操作mysq数据库(基础)-day08
|
13天前
|
消息中间件 缓存 监控
优化微服务架构中的数据库访问:策略与实践
随着微服务架构的普及,如何高效管理和优化数据库访问成为了关键挑战。本文探讨了在微服务环境中优化数据库访问的策略,包括数据库分片、缓存机制、异步处理等技术手段。通过深入分析实际案例和最佳实践,本文旨在为开发者提供实际可行的解决方案,以提升系统性能和可扩展性。
|
28天前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
61 9
|
17天前
|
存储 负载均衡 数据库
探索后端技术:从服务器架构到数据库优化的实践之旅
在当今数字化时代,后端技术作为支撑网站和应用运行的核心,扮演着至关重要的角色。本文将带领读者深入后端技术的两大关键领域——服务器架构和数据库优化,通过实践案例揭示其背后的原理与技巧。无论是对于初学者还是经验丰富的开发者,这篇文章都将提供宝贵的见解和实用的知识,帮助读者在后端开发的道路上更进一步。
|
2月前
|
消息中间件 存储 运维
微服务架构下的数据库选择与挑战
【8月更文第29天】随着微服务架构的流行,如何为每个服务选择合适的数据库成为了一个重要的话题。微服务架构强调将大型应用程序分解为一组小型、独立的服务,这些服务通常各自拥有自己的数据库。这种架构模式带来了灵活性和可扩展性,但也带来了数据一致性、事务管理和跨服务数据访问等方面的挑战。
37 0
下一篇
无影云桌面