云上数据库架构综合解决方案|学习笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 快速学习云上数据库架构综合解决方案

开发者学堂课程【数据库上云实战云上数据库架构综合解决方案】学习笔记,与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/70/detail/1174


云上数据库架构综合解决方案

 

内容介绍:

一、OLTP+OLAP 混合解决方案

二、物联网云上综合解决方案

三、金融行业风控云上综合解决方案

四、车联网云上综合解决方案

五、社交应用云上综合解决方案

 

一、OLTP+OLAP 混合解决方案

例如大多业务场景是 OLTP OLAP 混合的,若存在实时的交易类的业务场景,在此之前还需要一个实时分析类的业务场景。比如提供一些实时报表的混合场景的展示,一个比较成熟的解决方案是通过MYSQL 数据库和 Hybrid forMySQL 数据库整合成一个整体,也可以将业务逻辑里面的一些实时性要求比较高的数据写入MYSQL 数据库里面。之后 MYSQL 数据库是可以通过 DTS 将用于做报表分析和实时分析的一些数据实时并同步到 Hybrid forMySQL 里面,利用 Hybrid forMySQL 高容量、高并发、高性能的特点去做一个实时报表的分析。最后通过一个类似于 QuickBI 生产实时报表的工具,来做一些实时报表的展示。

image.png

 

二、物联网云上综合解决方案

物联网整体业务架构比较复杂,实时性要求也很高,对于数据量非常大的场景,通过云上实现会有一整套综合性的解决方案,从图中可以清楚的看到,可以将一些像交易类、红包类这种实时交易类的一些业务数据写到 RDS 关系型数据库里面,通过数据同步的方式将更多的数据写到类似于 HBase 一个分布式数据库里面,然后是 HBase 能够对接OSS 存储,Spark 以及实际数据库,对于一个整体连接相关的各类的组件来做一个整体的解决方案,这些解决方案可以很好的解决在物联网中一些业务场景中加存储需求很大,实时性要求又很高的问题,对于一些个性化业务的推荐,以及各类实时报表的分析可以做的更好。例如市面常见的娃娃机,车联网等设备,普遍使用这套整体的解决方案来实现。

 image.png

 

三、金融行业风控云上综合解决方案

金融行业对于数据的可用性和数据安全要求是很高的,并且在风控场景下做一个更好的风控模型需要的数据来源也是很多的,整体的数据量也会非常大。所以针对这些数据,像金融行业风控云这样的解决方案,目前阿里云可以完成一整套相关产品,例如 MySQL 数据库来存储用户的基础信息。对于云 HBase 可以通过整合之前不同的一些数据,来构建一个完善的风控模型,利用一个智能的风控算法打造一整套的风控管理平台,这样能够解决很多客户所提出的数据量大。目前数据类型各种各样,例如结构化,非结构化,对于存储数据的一些需求,HBase 刚好可以采用稀疏存储模式,可以支撑 PB 级以上的数据库,也能够支持将历史的交易数据传输到H Base,用 Phoenix+二级索引的方式支撑并实时提供 OLAP 查询,能够支持更大并发量的实时数据的写入。

image.png


四、车联网云上综合解决方案

对于车联网云上综合解决方案的业务需求是同时写入的,数据量会很大,随着时间的积累,整体数据量存储会达到 PB 甚至 TB 级别,相当于平均每天会有几百 G 的数据写入,所有数据会根据业务场景区分,可能一些数据是冷数据,一些数据是热数据,因为前面提到过目前阿里 HBase 是有冷热数据存储分离的特性,这个特性能够很好的解决车联网方面的数据需求。通过实时的采集,从不同的终端将这些数据采集来,利用一些中间件对这些数据进行解析,将一些实时性交易类的数据写到MySQL 数据库里面,之后利用高并发的非结构化的数据频繁的写入到 HBase里面,HBase 可以将一些冷数据转储到 OSS 冷存储上,并结合 Spark 做一个更好的实时分析,从而满足毫秒级的响应。

image.png

 

五、社交应用云上综合解决方案

对于社交领域,目前整体的解决方案大概是像文章,帖子,短信等这些非结构化的一些数据,可以实时的写入到 HBase 里面,将一部分实时性要求很高的数据可以用 Redis 做缓存,便于使用者能够快速的拿到所想要查看的一些信息,对于日常的一些聊天内容的信息可以用类似于 MySQL 关系型的数据库进行一定的存储,也可以在社交领域使用 HBase 基于位置信息的查询,比如基于位置的智能化推荐,之后做一些自动化的快速搜索,以及用户的画像。

image.png

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
关系型数据库 MySQL Java
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
【IDEA】java后台操作mysql数据库驱动常见错误解决方案
93 0
|
2月前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
138 6
|
8天前
|
SQL 弹性计算 安全
在云上轻松部署达梦数据库
达梦数据库(DM Database)是达梦数据库有限公司开发的关系型数据库管理系统,广泛应用于政府、金融、能源等行业。它具备高性能、高安全、兼容性强、易管理等特点,支持多种操作系统,适用于关键业务系统、政务系统及大数据处理等场景。在阿里云上,可通过一键部署快速使用达梦数据库DM8。
|
1月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
1月前
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
27天前
|
消息中间件 监控 Cloud Native
云原生架构下的数据一致性挑战与解决方案####
在数字化转型加速的今天,云原生架构以其轻量级、弹性伸缩和高可用性成为企业IT架构的首选。然而,在享受其带来的灵活性的同时,数据一致性问题成为了不可忽视的挑战。本文探讨了云原生环境中数据一致性的复杂性,分析了导致数据不一致的根本原因,并提出了几种有效的解决策略,旨在为开发者和企业提供实践指南,确保在动态变化的云环境中保持数据的完整性和准确性。 ####
|
1月前
|
存储 NoSQL 分布式数据库
微服务架构下的数据库设计与优化策略####
本文深入探讨了在微服务架构下,如何进行高效的数据库设计与优化,以确保系统的可扩展性、低延迟与高并发处理能力。不同于传统单一数据库模式,微服务架构要求更细粒度的服务划分,这对数据库设计提出了新的挑战。本文将从数据库分片、复制、事务管理及性能调优等方面阐述最佳实践,旨在为开发者提供一套系统性的解决方案框架。 ####
|
29天前
|
传感器 算法 物联网
智能停车解决方案之停车场室内导航系统(二):核心技术与系统架构构建
随着城市化进程的加速,停车难问题日益凸显。本文深入剖析智能停车系统的关键技术,包括停车场电子地图编辑绘制、物联网与传感器技术、大数据与云计算的应用、定位技术及车辆导航路径规划,为读者提供全面的技术解决方案。系统架构分为应用层、业务层、数据层和运行环境,涵盖停车场室内导航、车位占用检测、动态更新、精准导航和路径规划等方面。
105 4
|
27天前
|
运维 监控 关系型数据库
数据库管理中的自动化运维:挑战与解决方案
数据库管理中的自动化运维:挑战与解决方案
|
1月前
|
算法 安全 数据库
数据库死锁的解决方案有哪些?
【10月更文挑战第28天】数据库死锁是数据库管理中的一个常见问题
82 15