数据之光:探索数据库技术的演进之路

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 数据之光:探索数据库技术的演进之路



数据库概述-数据管理技术

数据库的地位

  • 数据库技术产生于六十年代末,是数据管理的最新技术,是计算机科学的重要分支。
  • 数据库技术是信息系统的核心和基础,它的出现极大地促进了计算机应用向各行各业的渗透。
  • 数据库的建设规模、数据库信息量的大小和使用频度已成为衡量一个国家信息化程度的重要标志。

数据库的四个重要概念

  • 数据( Data)
  • 数据库(DataBase,DB)
  • 数据库管理系统(DataBaseManagementSystem,DBMS)
  • 数据库系统(DataBaseSystem,DBS)

信息与数据

信息

>信息是现实世界中对客观事物的反映。这种反映主要体现为事物属性的表现形式,是对事物存在方式或运动状态的刻画.

>信息的主要特征

  • 可传递性:信息是可以传递的,但其传递的前提是必须有载体,且传递过程消耗能量。
  • 可感知性:信息可以被人类“感觉”得到的,但感觉的方式可能由于信息源的不同而呈现多样性。
  • 可管理性:信息是可以被管理的,我们可以通过一定的方法对信息进行加工、存储、传播、再生和增值等。

数据

数据是描述事务的符号记录,是信息的符号化表示,是信息的载体。

数据是信息表示的一种符号形式。

这种符号形式可以是语言、图表、数字、声音等。但不管用什么样的符号形式,其目的只有一个,那就是客观地反映信息的内容。信息的内容不会随着数据表现形式的不同而改变。

信息和数据的区分和联系:

数据是信息的载体,可以有多种表现形式,其目的都是为了揭示信息的内容;

信息是数据的内涵,它仅由客观事物的属性来确定,而与数据形式无关。

但在实际应用中,如果不需要特别强调信息和数据的差异,这两个概念往往是互换的。

例如,“信息处理”和“数据处理”通常意指有相同内涵的两个概念

数据处理和数据管理

数据处理

  • 数据处理也称信息处理,它泛指用计算机对各种类型数据进行的处理操作。
  • 这些操作包括对数据进行采集、转换、分类、存储、排序、加工、维护、统计和传输等系列活动。
  • 数据处理的目的是从原始数据中提取有价值的、可作决策依据的信息。

数据管理

  • 数据管理指在复杂的数据处理过程中的一些基本操作,如数据存储、分类、统计和检索等。
  • 数据管理是数据处理的任务之一,是数据处理的核心内容,数据库系统的基本功能就是数据管理。

数据管理技术的发展过程

人工管理阶段(1946.2-1955 左右)

  • 这一阶段主要指是从计算机诞生到 20 世纪 50 年代中期的这一个时期。世界上第一台计算机 ENIAC于1946 年2月14日在美国宾夕法尼亚大学诞生,在随后的近十年中计算机的主要应用是科学计算,处理的是数字数据,数据量不大。
  • 计算机没有操作系统(实际上当时根本没有操作系统的概念)也没有数据的管理软件,是以批处理方式对数据进行计算。
  • 计算机硬件本身也没有磁盘,所使用的“存储设备”是磁带、卡片等。
人工处理阶段数据管理技术的特点体现在:
  • 数据不保存。

一是当时计算机所处理的数据量很小,不需要保存;

二是计算机本身就没有有效的存储设备。

  • 数据缺乏独立性和有效的组织方式。

这体现在数据依赖于应用程序缺乏共享性。其原因在于,数据的逻辑结构跟程序是紧密联系在一起的,程序 A 处理的数据,对程序 B 而言可能就无法识别,更谈不上处理。解决的办法是修改数据的逻辑结构,或者修改应用程序。显然,这种数据管理方法仅适用于小量数据,对大量数据则是低效的。

  • 数据为程序所拥有,冗余度高。

由于数据缺乏独立性,一组数据只能为一个程序所拥有,而不能同时为多个程序所共享,这就造成了一份数据的多个拷贝,各程序之间存在大量重复的数据,从而产生大量的冗余数据。

文件系统阶段(1955-1965)

  • 这一阶段是从 50 年代后期到 60 年代中期的这一段时间。这个时期计算机除了用于科学计算以外,还大量用于数据的管理
  • 计算机已经有了操作系统,并且在操作系统之上已经开发了一种专门用于数据管理的软件——文件管理系统。在文件管理系统中,数据的批处理方法发展到了文件的批处理方式,且还可以实现了一定程度的联机实时处理。
  • 计算机硬件本身已经出现了磁盘、磁鼓等外部存储设备
文件系统阶段特点
  • 计算机的应用从单纯的科学计算逐步转移到数据处理,特别是在该阶段的后期,数据处理已经成为计算机应用的主要目的。主要限于对文件的插入、删除、修改和查询等基本操作。
  • 数据按照一定的逻辑结构组成文件,并通过文件实现数据的外部存储。即数据是以文件的方式存储在外部存储设备中,如磁盘、磁鼓等。
  • 数据具有一定的独立性。由于数据是以文件的方式存储,文件的逻辑结构与存储结构可以自由地进行转换,所以多个程序可以通过文件系统对同一数据进行访问,实现了一定程度的数据共享。
  • 文件形式具有多样化,除了数据文件以外还产生了索引文件、链接文件、顺序文件、直接存取文件和倒排文件等。
  • 基本上以记录为单位实现数据的存取。
文件系统阶段缺点:
  • 数据和程序并不相互独立,数据冗余度仍然比较大。一个程序基本上是对应着一个或一组文件,即数据还是面向应用的,不同的程序还需建立自己的数据文件,能真正实现数据共享的情况并不多。原因在于,文件中数据的逻辑结构与其对应的程序密切相关而且没有统一标准的逻辑结构。
  • 难以保证数据一致性。由于文件之间没有关联机制,所以当对一个数据进行更改时难以保证对该数据的其他副本进行同样的更改。
  • 文件的数据表达能力十分有限。这主要体现在,文件中的数据结构比较单一,也比较简单,还难以表示复杂的数据结构。

数据库系统阶段(1965-至今)

  • 数据库系统阶段始于 20 世纪 60 中后期,一直到现在。这时计算机除了用于科学计算以外,更多时候是用于数据管理,而且数据的量已经很大,管理功能也越来越强大。
  • 计算机硬件本身也发生了深刻的变化,出现了大容量磁盘和高主频的 CPU 等。
  • 在软件上,数据的管理软件已经由原来的文件系统上升到了数据库管理系统(DBMS)。
  • 数据管理的主要特点是数据集中存放在一个地方,这个地方就是所谓的数据库。应用程序要实现对数据库中的数据进行访问,则必须通过数据库管理系统来完成。

数据库的定义

数据库,顾名思义,是存放数据的仓库

人们收集并抽取出一个应用所需要的大量数据之后,应将其保存起来以供进一步加工处理,进一步抽取有用信息。

数据库(Database,简称 DB)是长期储存在计算机内有组织可共享的大量数据的集合。

数据库技术是基于数据库的数据管理技术。

特点:

数据组织的结构化。从总体上看,文件系统中的数据是“涣散”的,而数据库中的数据是结构化的,具有统一的逻辑结构。数据的结构化是数据库的主要特征之一,是数据库和文件系统的最大和根本的区别。

减少数据冗余度,增强数据共享性。从整个系统上看,数据不再面向某一个特定的应用程序,而是面向由所有应用程序组成的系统。所以一个数据可以为多个应用程序所共享,一个应用程序也可以同时访问多个数据。

保证数据的一致性。通过建立文件间的关联,使得在对某一个数据进行更新时,与之相关的数据也得到相应更改。

具有较高的数据独立性。在数据库系统中,数据独立性包含两个方面,一个是数据的物理独立性,另一个是数据的逻辑独立性。

  • 数据的物理独立性是指在数据的物理存储结构发生改变时数据的逻辑结构可以不变的特性,
  • 数据的逻辑独立性是指在总体逻辑结构改变时,应用程序可以不变的一种特性。

数据库之所以具有较好的数据独立性,主要是因为数据库提供了两个映象功能:

数据的存储结构逻辑结构之间映象或转换功能以及

数据的总体逻辑结构局部逻辑结构之间的映象功能

前者保证了数据的物理独立性,后者则保证了数据的逻辑独立性。

以数据项为单位进行数据存取。相对文件系统而言,数据库可以实现更小粒度的数据处理,满足更多的应用需求。

具有统一的数据控制功能。这些功能包括数据的安全性控制、完整性控制、并发控制和一致性控制等功能。

数据管理技术发展的三个阶段

数据管理技术发展的这三个阶段是一个渐进的过程,它们的区别主要体现在应用程序和数据的关系上:

  • 在人工管理阶段,应用程序和数据是“混合”在一起;
  • 在文件系统阶段,应用程序则通过文件系统完成对数据的访问实现了数据和程序一定程度的分离;
  • 在数据库系统阶段,应用程序是通过数据库管理系统(DBMS)对数据进行访问,实现了数据和程序的高度分离。

三个阶段之间的关系表示:

数据库管理系统的基本功能

数据库管理系统的基本功能主要包括数据定义、数据存取、数据库建立与维护以及数据库运行管理等

  1. 数据定义:这是DBMS的一个核心功能,提供数据定义语言(DDL)来创建、修改或删除数据库中的表结构、视图和索引等对象。
  2. 数据存取:DBMS通过数据操纵语言(DML)实现数据的检索、插入、更新和删除操作。这允许用户对数据库中的数据进行各种操作以完成他们的业务需求。
  3. 数据库建立与维护:涉及数据库的初始数据加载、转储、恢复、重组织,以及系统性能监控和分析等功能。这些功能确保数据库能够稳定运行,并在出现问题时及时进行修复和优化。
  4. 数据库运行管理:包括数据的安全性、完整性和并发控制。DBMS必须保证在多用户访问的情况下,数据库中的数据仍然保持一致性和准确性。

总结:数据库管理系统是位于用户和操作系统之间的软件,它提供了强大而复杂的功能集,使得用户可以高效地存储、管理和检索数据。

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
目录
相关文章
|
2天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
6天前
|
数据库 索引
深入探索数据库索引技术:回表与索引下推解析
【10月更文挑战第15天】在数据库查询优化的领域中,回表和索引下推是两个核心概念,它们对于提高查询性能至关重要。本文将详细解释这两个术语,并探讨它们在数据库操作中的作用和影响。
25 3
|
6天前
|
数据库 索引
深入理解数据库索引技术:回表与索引下推详解
【10月更文挑战第23天】 在数据库查询性能优化中,索引的使用是提升查询效率的关键。然而,并非所有的索引都能直接加速查询。本文将深入探讨两个重要的数据库索引技术:回表和索引下推,解释它们的概念、工作原理以及对性能的影响。
22 3
|
5天前
|
负载均衡 网络协议 数据库
选择适合自己的数据库多实例负载均衡技术
【10月更文挑战第23天】选择适合自己的数据库多实例负载均衡技术需要全面考虑多种因素。通过深入的分析和评估,结合自身的实际情况,能够做出明智的决策,为数据库系统的高效运行提供有力保障。
|
4天前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
21 3
国产数据实战之docker部署MyWebSQL数据库管理工具
|
1天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
3天前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
13 3
|
5天前
|
缓存 负载均衡 监控
数据库多实例的负载均衡技术深入
【10月更文挑战第23天】数据库多实例负载均衡技术是确保数据库系统高效运行的重要手段。通过合理选择负载均衡策略、实时监控实例状态、不断优化调整,能够实现资源的最优分配和系统性能的提升。在实际应用中,需要根据具体情况灵活运用各种负载均衡技术,并结合其他相关技术,以满足不断变化的业务需求。
|
5天前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
在Java应用开发中,数据库操作常成为性能瓶颈。频繁的数据库连接建立和断开增加了系统开销,导致性能下降。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接,显著减少连接开销,提升系统性能。文章详细介绍了连接池的优势、选择标准、使用方法及优化策略,帮助开发者实现数据库性能的飞跃。
16 4
|
3天前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
8 1