挑战传统数据建模技术 大数据工具成趋势

简介:
+关注继续查看

汹涌而来的大数据浪潮正在改变数据建模技术,包括模式的创建。这个观点在2016年圣地亚哥举办的EDW(企业数据世界)会议上提出,数据专业人员应该及时做出调整,适应形势的变化。

凭借海量数据和不同的数据结构,大数据的冲击也为NoSQL、Hadoop、Spark等带来了新的技术形式。尤其是NoSQL,呼吁在建立数据模型技术上做出改变。

2016年在圣地亚哥举办的EDW(企业数据世界)会议上,一些数据专家建议应该学习一些基本的命令,尤其是涉及到NoSQL数据库的,如MongoDB,Cassandra和Redis,至少要掌握其中的一种。

“没有人天生就掌握NoSQL“,纽约信息提供商LexisNexis的数据架构师Ted Hills如是说。数据建模师应该明白,他们掌握的所有关于逻辑建模的知识仍然是正确的,但他们也应该意识到NoSQL可以提供更丰富的工具箱,使开发者的工作更加便捷。

数据专业人员应该做好准备接受变化,并拥抱大数据工具的新功能,尽管大数据工具使得现有建模方法发生变化。

当数据建模技术遇上schema-on-write

大数据浪潮下,NoSQL的作用是延迟模式创建。数据模式的早期定义是数据质量实践的关键和启动一个项目的先决条件。

数据架构师和InfoAdvisors首席顾问Karen Lopez表示,在开发周期,模式创建可能会进入一个不同的阶段。

“这并不是说我们不关心质量,只是我们不关心模式创建的前期,”她说,这并不意味着要设计成为“非模式化“。相反,他们支持类似于“schema-on-read”的模型。

Hills也表示认同,人们对于NoSQL的热情逐渐缓和,因为他们不知道究竟是什么东西与数据库管理系统发生碰撞。随着初始数据的不断开发,才创建了数据模式。他预计数据建模从一个只是说明性的模式逐渐发展到包括一些描述性的建模。

敏捷性很重要

“现在,数据建模的出现使得一切变得更具描述性,”独立分析师Lakshmi Randall感叹。

NoSQL数据库可能与数据设计风格相关,比如说图形数据库。NoSQL图形数据库可以在许多交互中捕捉信息,例如,网络和客户关系系统。NoSQL图形数据库可以帮助创建一个广泛应用的描述性模型。

Hills强调,设计NoSQL数据库是一种趋势,它使企业和软件开发更加灵活。

设计NoSQL数据库也被认为是提高敏捷性的方法。与传统的建模相比,这种趋势也有许多原则要遵守。例如,项目的运作要围绕交付而进行,以及短暂而频繁的迭代和适度使用预付模式。

敏捷性意味着团队可以将项目划分成更细化的模块,提高完成项目的效率。企业业务的成功与否与每一个步骤息息相关。

Hills表示,数据建模师应该学习敏捷开发,提高工作效率。传统的数据建模过程更倾向于一蹴而就,完成项目的风格与多年形成的习惯密切相关。

在创建模式之前,在NoSQL中存储数据并无大碍。Hills叮嘱数据建模者以更加开放的心态挖掘新技术的价值。不要把新技术、新工具看成是敌人,要把它当成一个突破局限、探索新事物的好机会。

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
6月前
|
人工智能 文字识别 监控
我们如何根据业务需求选择人工智能解决方案
现在企业对人工智能 (AI) 的使用越来越广泛,甚至趋向自动化。无论这是否基于现有的数据研发平台,还是使用多合一的工具,或者在云端或内部托管数据,都有大量现成的解决方案,因此,如此丰富的选择不应该让我们忘记解决方案的存在理由!在那些许诺给你月亮的人和那些想要终极(和不可实现的)解决方案的人之间,你必须要比以往任何时候都更加坚定地了解你的需求。
51 0
|
10月前
|
数据采集 存储 人工智能
数据价值有效发挥的障碍:高级数据分析常见的五种挑战
我们经常听到高级分析的成功案例。人们对人工智能的期望很高——据预测人工智能和人工智能的年经济价值将在9.5万亿到15.4万亿美元之间——因此,只要有可能,许多人都想把目光聚焦在数据分析技术的发展上。
|
机器学习/深度学习 存储 算法
2020年的4种数据分析主导趋势
数据分析是一个不断发展的领域。随着企业继续大力投资数据分析以支持数字化转型,掌握最新发展趋势对于确保企业未来成功所需的分析战略和策略至关重要。
|
传感器 存储 运维
企业从物联网数据分析中获益的4种方式
物联网真的值得关注吗?还是只是夸大其词?
企业从物联网数据分析中获益的4种方式
|
分布式计算 搜索推荐 大数据
融合大数据能力,解决在存量时代下的力分之困
上月,有微博爆料逻辑思维计划在2018年提交IPO申请,2019年底前创业板上市。虽然很快罗振宇方面就出面否认,但从近日阿里应用分发发布的2017年Q2应用行业报告显示,5家知识付费平台同比增长率均在50%以上,目前用户已达到5000万,知识付费正处于高速增长中。
2516 0
推荐文章
更多