挑战传统数据建模技术 大数据工具成趋势

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

汹涌而来的大数据浪潮正在改变数据建模技术,包括模式的创建。这个观点在2016年圣地亚哥举办的EDW(企业数据世界)会议上提出,数据专业人员应该及时做出调整,适应形势的变化。

凭借海量数据和不同的数据结构,大数据的冲击也为NoSQL、Hadoop、Spark等带来了新的技术形式。尤其是NoSQL,呼吁在建立数据模型技术上做出改变。

2016年在圣地亚哥举办的EDW(企业数据世界)会议上,一些数据专家建议应该学习一些基本的命令,尤其是涉及到NoSQL数据库的,如MongoDB,Cassandra和Redis,至少要掌握其中的一种。

“没有人天生就掌握NoSQL“,纽约信息提供商LexisNexis的数据架构师Ted Hills如是说。数据建模师应该明白,他们掌握的所有关于逻辑建模的知识仍然是正确的,但他们也应该意识到NoSQL可以提供更丰富的工具箱,使开发者的工作更加便捷。

数据专业人员应该做好准备接受变化,并拥抱大数据工具的新功能,尽管大数据工具使得现有建模方法发生变化。

当数据建模技术遇上schema-on-write

大数据浪潮下,NoSQL的作用是延迟模式创建。数据模式的早期定义是数据质量实践的关键和启动一个项目的先决条件。

数据架构师和InfoAdvisors首席顾问Karen Lopez表示,在开发周期,模式创建可能会进入一个不同的阶段。

“这并不是说我们不关心质量,只是我们不关心模式创建的前期,”她说,这并不意味着要设计成为“非模式化“。相反,他们支持类似于“schema-on-read”的模型。

Hills也表示认同,人们对于NoSQL的热情逐渐缓和,因为他们不知道究竟是什么东西与数据库管理系统发生碰撞。随着初始数据的不断开发,才创建了数据模式。他预计数据建模从一个只是说明性的模式逐渐发展到包括一些描述性的建模。

敏捷性很重要

“现在,数据建模的出现使得一切变得更具描述性,”独立分析师Lakshmi Randall感叹。

NoSQL数据库可能与数据设计风格相关,比如说图形数据库。NoSQL图形数据库可以在许多交互中捕捉信息,例如,网络和客户关系系统。NoSQL图形数据库可以帮助创建一个广泛应用的描述性模型。

Hills强调,设计NoSQL数据库是一种趋势,它使企业和软件开发更加灵活。

设计NoSQL数据库也被认为是提高敏捷性的方法。与传统的建模相比,这种趋势也有许多原则要遵守。例如,项目的运作要围绕交付而进行,以及短暂而频繁的迭代和适度使用预付模式。

敏捷性意味着团队可以将项目划分成更细化的模块,提高完成项目的效率。企业业务的成功与否与每一个步骤息息相关。

Hills表示,数据建模师应该学习敏捷开发,提高工作效率。传统的数据建模过程更倾向于一蹴而就,完成项目的风格与多年形成的习惯密切相关。

在创建模式之前,在NoSQL中存储数据并无大碍。Hills叮嘱数据建模者以更加开放的心态挖掘新技术的价值。不要把新技术、新工具看成是敌人,要把它当成一个突破局限、探索新事物的好机会。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
102 2
|
2月前
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
171 4
|
1月前
|
存储 分布式计算 NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
|
2天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
15 2
|
16天前
|
SQL 运维 大数据
轻量级的大数据处理技术
现代大数据应用架构中,数据中心作为核心,连接数据源与应用,承担着数据处理与服务的重要角色。然而,随着数据量的激增,数据中心面临运维复杂、体系封闭及应用间耦合性高等挑战。为缓解这些问题,一种轻量级的解决方案——esProc SPL应运而生。esProc SPL通过集成性、开放性、高性能、数据路由和敏捷性等特性,有效解决了现有架构的不足,实现了灵活高效的数据处理,特别适用于应用端的前置计算,降低了整体成本和复杂度。
|
24天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
62 4
|
26天前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
34 4
|
1月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
1月前
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。
|
8天前
|
存储 人工智能 算法
为什么局域网协作工具是大数据时代的必需品?
本文深入解析了局域网文档协同编辑的技术原理与优势,涵盖分布式系统架构、实时同步技术、操作变换及冲突自由的副本数据类型等核心概念。同时,探讨了其在信息安全要求高的组织、远程与现场混合团队、教育与科研团队等场景的应用,以及国内外技术方案对比和市场未来趋势。
下一篇
DataWorks