带你读《2022技术人的百宝黑皮书》——数据库存储选型经验总结(2)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 带你读《2022技术人的百宝黑皮书》——数据库存储选型经验总结(2)

带你读《2022技术人的百宝黑皮书》——数据库存储选型经验总结(1)https://developer.aliyun.com/article/1340016?groupCode=taobaotech


然而,在享受关系数据库带来的便利的同时,我们也不得不面临很多麻烦的问题:


  1. 高并发下数据库瓶颈明显

数据按行存储,即使只针对其中某一列进行运算,也会将整行数据从存储设备中读入内存,导致 IO 较高。写入 / 更新频繁的情况下,数据库往往会出现 CPU 飙高、Sql 执行慢、客户端报数据库连接池不够等异常情况,且性能瓶颈通过加 CPU、换固态硬盘、继续买服务器加数据库做分库等方式处理ROI不高,受限于其本身的特点, 可能花了很多钱都未必能达到想要的效果。因此例如万人秒杀这种场景,我们绝对不可能通过数据库直接去扣减库存,需要做好流量漏斗。

  1. 为维护索引付出的代价大

为了提供丰富的查询能力,通常热点表都会有多个二级索引,一旦有了二级索引,数据的新增必然伴随着所有二级索引的新增,数据的更新也必然伴随着所有二级索引的更新,这不可避免地降低了关系型数据库的读写能力, 且索引越多读写能力越差。除了数据文件不可避免地占空间外,索引占的空间其实也并不少。

  1. 为维护数据一致性付出的代价大

数据一致性是关系型数据库的核心,但是同样为了维护数据一致性的代价也是非常大的。我们都知道 SQL 标准为事务定义了不同的隔离级别,从低到高依次是读未提交、读已提交、可重复度、串行化,事务隔离级别越低, 可能出现的并发异常越多,但是通常而言能提供的并发能力越强。那么为了保证事务一致性,数据库就需要提供并发控制与故障恢复两种技术,前者用于减少并发异常,后者可以在系统异常的时候保证事务与数据库状态不会被破坏。对于并发控制,其核心思想就是加锁,无论是乐观锁还是悲观锁,只要提供的隔离级别越高,那么读写性能必然越差。

  1. 水平扩展后带来的种种问题难处理

随着业务规模扩大,一种方式是对数据库做分库,做了分库之后,数据迁移(1 个库的数据按照一定规则打到 2 个库中)、跨库 join、分布式事务处理都是需要考虑的问题,尤其是分布式事务处理,业界当前都没有特别好的解决方案。

  1. 表结构扩展不方便

由于数据库存储的是结构化数据,因此表结构 schema 是固定的,扩展不方便,如果需要修改表结构,需要执DDL(data definition language)语句修改,修改期间会导致锁表,部分服务不可用。

  1. 全文搜索功能弱

例如 like “% 中国真伟大 %”,只能搜索到“2019 年中国真伟大,爱祖国”,无法搜索到“中国真是太伟大了” 这样的文本,即不具备分词能力,且 like 查询在“% 中国真伟大” 这样的搜索条件下,无法命中索引,将会导致查询效率大大降低。

 

如上文所分析的,关系型数据库优点明显,缺点同样不能忽视,因此通常在企业规模不断扩大的情况下,不会一味指望通过增强数据库的能力来解决数据存储问题,而是会引入其他存储,也就是我们说的 NoSql。

 

 

 

NoSql 的全称为 Not Only SQL,泛指非关系型数据库,是对关系型数据库的一种补充,特别注意补充这两个字, 这意味着 NoSql 与关系型数据库并不是对立关系,二者各有优劣,取长补短,在合适的场景下选择合适的存储引擎才是正确的做法。下面看一下常用的 NoSql 及他们的代表产品,并对每种 NoSql 的优缺点和适用场景做一下分析,便于熟悉每种 NoSql 的特点,方便技术选型。

 

KV NoSql(代表 —-Redis)

 

KVNoSql 顾名思义就是以键值对形式存储的非关系型数据库,是最简单、最容易理解也是大家最熟悉的一种NoSql。Redis、MemCache 是其中的代表,Redis 又是 KV NoSql 中应用最广泛的 NoSql,KV 型数据库以Redis 为例,最大的优点总结下来主要有两点:

 

  1. 数据基于内存,读写效率高
  2. KV型数据,时间复杂度为O(1),查询速度快

 

因此,KVNoSql 最大的优点就是高性能,利用 Redis 自带的 BenchMark 做基准测试,TPS 可达到 10 万的级别,性能非常强劲。同样的 Redis 也有所有 KV NoSql 都有的比较明显的缺点:

 

  1. 只能根据K查V,无法根据V查K
  2. 查询方式单一,只有KV的方式,不支持条件查询,多条件查询唯一的做法就是数据冗余,但这会极大的浪费存储空间
  3. 内存是有限的,无法支持海量数据存储
  4. 由于KV型NoSql的存储是基于内存的,会有丢失数据的风险(有持久化存储方案) 综上所述,KVNoSql 最合适的场景就是缓存的场景:
  5. 读远多于写
  6. 读取能力强
  7. 没有持久化的需求,可以容忍数据丢失

 

针对那些读远多于写的数据,引入一层缓存,每次读从缓存中读取,缓存中读取不到,再去数据库中取,取完之后再写入到缓存,对数据做好失效机制通常就没有大问题了。通常来说,缓存是性能优化的第一选择也是见效最明显的方案。

 

带你读《2022技术人的百宝黑皮书》——数据库存储选型经验总结(3)https://developer.aliyun.com/article/1340014?groupCode=taobaotech

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
7天前
|
前端开发 Java Go
新一代数据库技术的崛起与应用前景
本文探讨了新一代数据库技术在不同领域的崛起和应用前景。通过对前端、后端、Java、Python、C、PHP、Go等多种类型的技术进行分析,我们揭示了新一代数据库技术的优势和特点,并展望了其在未来的发展趋势。本文旨在为读者全面了解新一代数据库技术提供参考和指导。
|
7天前
|
SQL 存储 NoSQL
SQL与NoSQL数据库的选择:技术与场景驱动下的决策
【6月更文挑战第16天】**SQL vs NoSQL数据库:技术与应用场景比较。SQL数据库以其关系模型、ACID特性、灵活查询及事务处理见长,适合结构化数据和强一致性场景。NoSQL则以数据模型灵活性、高可扩展性、高性能及低成本著称,适合大数据、高并发和快速迭代的需求。选择应基于业务需求、数据特性、系统架构和成本。**
|
2天前
|
SQL Java 数据库连接
【MyBatis】深入解析MyBatis:高效操作数据库技术详解
【MyBatis】深入解析MyBatis:高效操作数据库技术详解
17 0
|
3天前
|
存储 Java Apache
杨校老师课堂之用户登录时如何进行密码加密存储到数据库
杨校老师课堂之用户登录时如何进行密码加密存储到数据库
8 0
|
8天前
|
监控 安全 关系型数据库
精通MySQL:数据库核心技术与应用实践
h3> 一、引言 MySQL作为开源关系型数据库管理系统的佼佼者,凭借其出色的性能、灵活性和稳定性,成为许多企业和开发者的首选
|
9天前
|
存储 人工智能 NoSQL
探索数据库技术的奥秘:从基础架构到前沿应用
一、引言 在数字化时代,数据库技术作为信息管理的基石,已经渗透到我们生活的方方面面
|
9天前
|
存储 SQL NoSQL
探索数据库技术的奥秘:从核心原理到行业应用
一、引言 数据库技术是现代信息科技的核心组成部分,它为我们提供了一种高效、可靠的方式来存储、检索和管理数据
|
9天前
|
存储 人工智能 NoSQL
探索数据库技术的奥秘:原理、应用与前沿发展
一、引言 数据库技术作为现代信息技术的核心支柱之一,已经深入到各个行业与领域,成为数据处理与存储的不可或缺的工具
|
9天前
|
存储 SQL NoSQL
探索数据库技术的奥秘:原理、应用与前沿进展
一、引言 数据库技术作为现代信息技术的核心组成部分,承载着数据存储、检索、管理和分析的重要任务
|
9天前
|
SQL 存储 数据处理
探索数据库技术的奥秘:原理、应用与未来发展
一、引言 在当今数字化时代,数据库技术已成为支撑各种应用系统和业务运行的关键基础设施

热门文章

最新文章