数据的反规范化架构

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 【6月更文挑战第13天】 本文介绍数据库设计包括规范化和反规范化。优化设计和应用规范化规则确保高效且准确的数据存储。

1 规范化设计

设计合理的数据库使您可以访问最新、准确的信息。因为正确的设计对于实现使用数据库的目标至关重要。

一个基本原则是,减少重复冗余的数据,虽然现代很多数据表设计不得不设置冗余信息。

另一个基本原则是,保证数据的正确性和完整性以及可扩展。 如果数据被保存得不正确,那么从这里提取的信息将是无用的信息。

question_ans.png

2 关系数据库定义

规范五个范式:1NF,2NF,3NF,BCNF, 4NF

常用的前三个定义

1NF 若关系模式 R 的每一个分量是不可再分的数据项,则关系模式 R属于第一范式

2NF 若关系模式 REINF,且每一个非主属性完全依赖主键时,则关系式R是第二范式

3NF 即当2NF 消除了非主属性对码 (候选键) 的传递函数依赖,则称为 3NF

BCNF Boyce Codd Normal Form,巴克斯范式 当3NF消除了主属性对码的部分函数依赖和传递函数依赖,则称为BCNF。

4NF 4NF是限制关系模式的属性间不允许有非平凡且非函数依赖的多值依赖。
注意:如果只考虑函数依赖,关系模式最高的规范化程度是BCNF;如果考虑多值依赖,关系模式最高规范化程度是4NF。

主键(PrimaryKey):或称主键,若一个关系有多个候选码,则选定其中一个作为主码

外键(Foreign Key):如果关系模式R中的属性或属性组不是该关系的键,但它是其他
关系的码,那么该属性集对关系模式R而言是外键。

主属性(Prime Attribute):包含在任何候选码中的属性称为主属性。不包含在任何候选
码中的属性称为非主属性(Non-Prime Attribute)。

目或度(Degree);目或度指的是一个关系中属性的个数。

候选键:不含有多余属性的超键称为 候选键,是超键的最小子集。例如:学号,身份证号

函数依赖定义: 设R(U)是属性U的关系模式,X,Y是U的子集,对于R(U)的任意一个可能的关系r,r的任意两个元组在X上属性值相等,那么在Y上的属性值也相等,称“X函数确定Y” 或Y函数依赖X,记为 X->Y. X称为这个函数依赖的决定属性组,也称为决定因素。

2 反规范化设计

方法

    增加冗余列

增加冗余列是指在多个表中具有相同的列,它常用来在查询时避免连接操作。

    增加派生列

增加派生列指增加的列可以通过表中其他数据计算生成。 \n它的作用是在查询时减少计算量,从而加快查询速度。

    重新组表

重新组表指如果许多用户需要查看两个表连接出来的结果数据,则把这两个表重新组成一个表来减少连接而提高性能。

    水平分割

按记录进行分割,把数据放到多个独立的表中,主要用于表数据规模很大、表中数据相对独立或数据需要存放到多个介质上时使用:范围,列表,哈希。

    垂直分割

对表进行分割,将主键与部分列放到一个表中,主键与其它列放到另一个表中, 在查询时减少 I/0 次:冷,热列拆表。

保障数据一致性方式:

    触发器
    事务机制保证
    应用保证
    批处理脚本

反规范化优缺点:

优点:避免进行表之间连接操作,可以提高数据操作的性能
缺点:数据重复存储,浪费磁盘空间。可能导致数据不一致

3 数据设计步骤

一个基本的步骤如下:

1 确定数据库的用途    

这有助于您为其余步骤做好准备。

2 查找和组织所需信息    

收集您可能希望在数据库中记录的所有类型的信息,例如产品名称和订单号。

3 将信息划分为表格    

将您的信息项划分为主要实体或主题,例如产品或订单。然后,每个主题都变成一个表。

4 将信息项转换为列    

确定要在每个表中存储哪些信息。每个项目都将成为字段,并在表中显示为一列。例如,“雇员”表可能包含“姓氏”和“雇用日期”等字段。

5 指定主键    

选择每个表的主键。主键是用于唯一标识每一行的列。例如,产品 ID 或订单 ID。

6 设置表关系    

查看每个表,并确定一个表中的数据与其他表中的数据之间的关系。根据需要向表添加字段或创建新表以阐明关系。

7 优化您的设计    

分析您的设计是否存在错误。创建表并添加一些示例数据记录。看看你是否能从你的表格中获得你想要的结果。根据需要对设计进行调整。

8 应用规范化规则    

应用数据规范化规则以查看表的结构是否正确。根据需要对表进行调整.

4 小结

关于关系型数据库的经典设计工具可见此文 。规范化设计减少数据冗余,确保正确性和完整性,如1NF-4NF范式。反规范化通过增加冗余列、派生列等提高查询效率,但可能引发数据不一致。设计步骤涉及确定用途、组织信息、划分表格、指定主键和设置关系。

目录
相关文章
|
3月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
371 2
|
2月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
10天前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
57 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
3月前
|
SQL 缓存 前端开发
如何开发进销存系统中的基础数据板块?(附架构图+流程图+代码参考)
进销存系统是企业管理采购、销售与库存的核心工具,能有效提升运营效率。其中,“基础数据板块”作为系统基石,决定了后续业务的准确性与扩展性。本文详解产品与仓库模块的设计实现,涵盖功能概述、表结构设计、前后端代码示例及数据流架构,助力企业构建高效稳定的数字化管理体系。
|
20天前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
2月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
2月前
|
缓存 前端开发 BI
如何开发门店业绩上报管理系统中的门店数据板块?(附架构图+流程图+代码参考)
门店业绩上报管理是将门店营业、动销、人效等数据按标准化流程上报至企业中台或BI系统,用于考核、分析和决策。其核心在于构建“数据底座”,涵盖门店信息管理、数据采集、校验、汇总与对接。实现时需解决数据脏、上报慢、分析无据等问题。本文详解了实现路径,包括系统架构、数据模型、业务流程、开发要点、三大代码块(数据库、后端、前端)及FAQ,助你构建高效门店数据管理体系。
|
3月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1046 24
|
2月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
|
6月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
526 69