大数据时代下的存储技术--- 数据库类型及应用场景

简介: 传统单一的数据库的时代已经过去,大数据的特点以及新的数据应用场景对于数据库的新需求在不断出现,采用传统的数据库应对不同需求这种一刀切的方式已经不再奏效。

随着互联网的飞速发展,人们的工作生活都通过互联网紧密联接,各种网络数据暴增,这就促使大数据时代到来。


大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。


大数据时代,不但数据规模大、数据传递快,而且数据种类也是多样性的。这就对数据的存储技术提出了更高的要求,但是也给整个世界带来了更加快捷和方便的进步和发展。


大数据时代下的数据类型:

  • 结构化数据(Structured Data) 

      即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据

  • 半结构数据(Semi-structured Data)

      指结构数据中,结构不规则的数据,由于结构变化很大也不能够简单的建立一个表和他对应。如:声音、图像文件等之间的数据,HTML文档就属于半结构化数据。

  • 非结构化数据(Unstructured Data)

非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、像和音频/视频信息等等。


传统单一的数据库的时代已经过去,大数据的特点以及新的数据应用场景对数据库存储不断提出的新需求,采用传统的数据库应对不同需求这种一刀切的方式已经不再奏效。


大数据时代下,数据库类型以及应用场景


虽然使用数据库的目的都是为了进行数据存储,但是不同数据库还是有不同的产品特性。

场景.png

数据库分类


关系型数据库应用场景


“关系模型,就是二维表格模型。一个关系型数据库就是由多个二维表及其之间的联系所组成的一个数据组织。”


关系数据库的使用比较广泛,其以行和列的形式来存储数据,更便于用户理解,关系型数据库这一系列的行和列被称为表,一组表组成了数据库。 主流的关系型数据库例如:OracleL、SQL Server、DB2、MySQL、PostgreSQL等。


如下图所示:通常该表第一行为字段名称,描述该字段的作用,下面是具体的数据。

关系型数据库.png


关系型数据库特点--ACID理论


• A (Atomicity) 原子性: 就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个 操作失败,整个事务就失败,需要回滚。

 

• C (Consistency) 一致性: 一致性也比较容易理解,也就是说数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。


• I (Isolation) 独立性: 是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未 提交,它所访问的数据就不受未提交事务的影响。


• D (Durability) 持久性: 指一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。


关系型数据库的优点:

1.操作方便,   SQL语言容易书写和理解。

2.数据冗余度低

3.适合支撑复杂数据查询


非关系型数据库应用场景

常见的非关系型数据库有键值数据库、列存储数据库、文档数据库、图数据库、时序数据库、搜索引擎数据库等。非关系型数据库主要用于处理大数据量、高负载情况,一般采集分布式文件系统。通常,在非关系型数据库中,数据以对象的形式存储在数据库中,而对象之间的关系通过每个对象自身的属性来决定。

非关系数据库.png

非关系型数据库特点---CAP理论

CAP理论指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。

CAP 理论核心是: 一个分布式系统不可能同时很好的满足一致性,一致性和区分容错性这三个需求,最多只能同时较好的满足两个。


  • C:Consistency 一致性

      在分布式系统中的所有数据备份,在同一时刻是否同样的值。

  • A: Availability 可用性

      保证每个请求不管成功或者失败都有响应。

  • P:Partition Tolerance 区分容错性

     系统中任意信息的丢失或失败不会影响系统的继续运作。


非关系型数据库的优点:

  1. 数据间耦合性低,扩展性好
  2. 读写性能高
  3. 更适用于大数据分析场景

虽然两种类型数据库各有优势,但其优势也需要建立在不同的架构和成本之上,使用过程中也需要注意各优势之间的平衡。


在制定企业存储策略过程中,如何更有效地、稳定地发挥各自的优势是架构师们需要根据实际需要认真考虑的问题。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
存储 关系型数据库 数据库
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
本文通过一个 Agentic RAG 应用的完整构建流程,展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用,展示从数据准备到应用部署的全流程,相较于传统开发模式效率大幅提升。
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
|
安全 druid Nacos
0 代码改造实现应用运行时数据库密码无损轮转
本文探讨了敏感数据的安全风险及降低账密泄漏风险的策略。国家颁布的《网络安全二级等保2.0标准》强调了企业数据安全的重要性。文章介绍了Nacos作为配置中心在提升数据库访问安全性方面的应用,并结合阿里云KMS、Druid连接池和Spring Cloud Alibaba社区推出的数据源动态轮转方案。该方案实现了加密配置统一托管、帐密全托管、双层权限管控等功能,将帐密切换时间从数小时优化到一秒,显著提升了安全性和效率。未来,MSE Nacos和KMS将扩展至更多组件如NoSQL、MQ等,提供一站式安全服务,助力AI时代的应用安全。
786 14
|
存储 弹性计算 Cloud Native
云原生数据库的演进与应用实践
随着企业业务扩展,传统数据库难以应对高并发与弹性需求。云原生数据库应运而生,具备计算存储分离、弹性伸缩、高可用等核心特性,广泛应用于电商、金融、物联网等场景。阿里云PolarDB、Lindorm等产品已形成完善生态,助力企业高效处理数据。未来,AI驱动、Serverless与多云兼容将推动其进一步发展。
689 8
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
2102 5
|
存储 弹性计算 安全
现有数据库系统中应用加密技术的不同之处
本文介绍了数据库加密技术的种类及其在不同应用场景下的安全防护能力,包括云盘加密、透明数据加密(TDE)和选择列加密。分析了数据库面临的安全威胁,如管理员攻击、网络监听、绕过数据库访问等,并通过能力矩阵对比了各类加密技术的安全防护范围、加密粒度、业务影响及性能损耗。帮助用户根据安全需求、业务改造成本和性能要求,选择合适的加密方案,保障数据存储与传输安全。
|
安全 Java Nacos
0代码改动实现Spring应用数据库帐密自动轮转
Nacos作为国内被广泛使用的配置中心,已经成为应用侧的基础设施产品,近年来安全问题被更多关注,这是中国国内软件行业逐渐迈向成熟的标志,也是必经之路,Nacos提供配置加密存储-运行时轮转的核心安全能力,将在应用安全领域承担更多职责。
|
安全 关系型数据库 数据库
瀚高股份与 Anolis OS 完成适配,龙蜥获数据库场景高性能与稳定性认证
Anolis OS 能够为用户提供更加高效、安全的数据处理与管理体验。
|
存储 人工智能 数据库
视图是什么?为什么要用视图呢?数据库视图:定义、特点与应用
本文三桥君深入探讨数据库视图的概念与应用,从定义特点到实际价值全面解析。视图作为虚拟表具备动态更新、简化查询、数据安全等优势,能实现多角度数据展示并保持数据库重构的灵活性。产品专家三桥君还分析了视图与基表关系、创建维护要点及性能影响,强调视图是提升数据库管理效率的重要工具。三桥君通过系统讲解,帮助读者掌握这一常被忽视却功能强大的数据库特性。
2941 0