对数据系统的分类做一个定义

简介: 对数据系统的分类做一个定义

  对数据系统的分类做一个定义,数据系统如果按照主体来区分的话分为以下两类:

  应用为主体:常见的数据架构都是以『应用』为主体,数据主要产生自应用。数据架构围绕业务来设计,通常是先定义业务模型后设计业务流程。由于业务之间区分度很大,每个业务都有截然不同的业务模型,所以数据系统需要具备高度『抽象』的能力,所以通常会选择关系型数据库这类抽象能力强的组件作为核心存储。

  数据为主体:这类数据系统通常围绕『特定类型数据』进行构建,比如说围绕云原生监控数据设计的以 Prometheus 为核心的监控数据系统,再比如围绕日志数据分析设计的 ELK 数据系统。这类数据系统的设计过程通常是围绕数据的收集、存储、处理、查询和分析等环节来设计整套数据系统,数据具备统一的『具象』的模型。不同的场景有不同的数据系统,当某个场景具备通用性以及得到一定规模的应用,通常在开源界会诞生一套成熟的、完整的解决方案,比如说云原生 Prometheus、ELK、Hadoop 等。

  本篇文章介绍的数据架构主要是第一类,即以『应用为主体』的数据架构。

  应用系统数据架构

  应用系统数据架构历经了多次迭代,从传统的单一系统数据架构,到多组件构成的现代数据架构。现代数据架构下包含不同的计算和存储组件,这些组件在处理不同类型数据以及负载下各有优劣。现代数据架构通过合理选择和组合这些组件,让各个组件能发挥最大的能力,从而让整个数据系统能满足更多样化的场景需求以及支撑更大的数据规模。

目录
相关文章
|
9月前
|
人工智能 自然语言处理 DataWorks
DataWorks X DeepSeek : 用AI实现数据开发治理!
DataWorks X DeepSeek : 用AI实现数据开发治理!
318 3
|
11月前
|
人工智能 IDE 开发工具
《C++人工智能开发 IDE 全解析:助力智能创新之路》
本文深入探讨了几款适合 C++ 人工智能开发的 IDE,包括 Visual Studio、CLion、Eclipse CDT 和 Qt Creator。每款 IDE 都有其独特的优势,如 Visual Studio 的强大调试工具、CLion 的代码导航和 CMake 支持、Eclipse CDT 的跨平台能力和丰富的插件生态系统,以及 Qt Creator 在界面开发方面的卓越表现。开发者应根据项目需求、团队协作和个人习惯选择最合适的 IDE,以提升开发效率和体验。
313 16
|
10月前
|
弹性计算 运维 网络协议
卓越效能,极简运维,Serverless高可用架构
本文介绍了Serverless高可用架构方案,当企业面对日益增长的用户访问量和复杂的业务需求时如何实现更高的灵活性、更低的成本和更强的稳定性。
|
11月前
|
机器学习/深度学习 人工智能 算法
探索人工智能在医疗诊断中的应用
本文深入探讨了人工智能(AI)技术在医疗诊断领域的革新性应用,通过分析AI如何助力提高诊断准确性、效率以及个性化治疗方案的制定,揭示了AI技术为现代医学带来的巨大潜力和挑战。文章还展望了AI在未来医疗中的发展趋势,强调了跨学科合作的重要性。 ###
459 14
|
机器学习/深度学习 编解码 自然语言处理
深度学习在图像处理中的应用与挑战
随着人工智能技术的迅猛发展,深度学习已成为推动技术革新的重要力量之一。特别是在图像处理领域,深度学习的应用不仅极大地提高了图像识别、分类和生成的精度,还拓展了新的研究方向和应用场景。本文旨在探讨深度学习在图像处理中的具体应用、所面临的主要挑战以及未来的发展趋势,以期为相关领域的研究提供参考和启示。
438 1
|
机器学习/深度学习 分布式计算 Cloud Native
云原生架构下的高性能计算解决方案:利用分布式计算资源加速机器学习训练
【8月更文第19天】随着大数据和人工智能技术的发展,机器学习模型的训练数据量和复杂度都在迅速增长。传统的单机训练方式已经无法满足日益增长的计算需求。云原生架构为高性能计算提供了新的可能性,通过利用分布式计算资源,可以在短时间内完成大规模数据集的训练任务。本文将探讨如何在云原生环境下搭建高性能计算平台,并展示如何使用 PyTorch 和 TensorFlow 这样的流行框架进行分布式训练。
324 2
|
存储 监控 安全
系统安全深度探索:构建坚不可摧的防御体系
系统安全是数字化时代的重要课题。面对外部威胁、内部漏洞与人为失误以及更新与升级的滞后性等挑战,我们需要构建一套坚不可摧的防御体系。通过强化访问控制与身份验证、定期更新与补丁管理、实施安全审计与监控、加强数据加密与备份、提升用户安全意识与培训以及采用先进的安全技术与工具等关键策略,我们可以有效地提升系统的整体安全性
|
存储 数据库
微信云开发--云函数--联表查询( lookup 的使用方法详解)
微信云开发--云函数--联表查询( lookup 的使用方法详解)
377 0
|
机器学习/深度学习 分布式计算 算法
探索数据科学中的模型优化技术
本文旨在深入探讨数据科学领域中的模型优化技术,通过分析模型优化的重要性、常用方法及其在实际应用中的效果,揭示模型优化对于提升数据分析准确性和效率的关键作用。文章首先定义模型优化的概念并阐述其必要性,随后详细介绍了交叉验证、网格搜索等技术手段,并通过案例分析展示这些技术在实际项目中的应用成效。最后,文章讨论了模型优化面临的挑战及未来发展趋势,为数据科学家提供了宝贵的参考信息和实践指导。

热门文章

最新文章