大数据技术是如何发展的?

简介: 大数据虽已发展多年,但仍面临将恰当信息在正确时间传递给合适人员的挑战。尽管技术进步,大部分企业员工仍难以获取所需信息。数据仓库、数据湖和数据结构等存储系统涌现,但集中数据并不实际,数据去中心化趋势明显。数据结构允许异构数据并促进治理,同时,云计算影响大数据战略,提供灵活实验空间。数据治理和隐私规则的遵守至关重要,流程成熟度聚焦于数据质量和共享。目前大数据正处于“幻灭低谷”,成功的关键在于数据治理和处理流程的改进。

大数据的挑战仍然集中在在正确的时间将正确的信息提供给正确的人,即使信息来源和使用在增长。


2013行业内专家宣布开始进入大数据时代。他们认为,大数据使组织能够以正确的速度和正确的时间存储、管理和操作大量数据,以获得正确的见解。

大数据并不代表一种单一的技术,而是一组不同的数据管理技术,其根源是之前的几次技术变革。

现在的问题是:大数据现在在哪里?成熟它的应用需要什么?

公平地说,最近的分析师调查发现,大数据还没有带来重大的商业成果。尽管有这么多的宣传,但大多数企业员工仍然无法方便地获得完成工作所需的信息。随着信息源、使用和用户数量的增长,问题仍然集中在在正确的时间将正确的信息提供给正确的人。

数据仓库vs.数据湖vs.数据结构

为了容纳所有这些数据,存储和管理系统如雨后春笋般涌现,比如数据仓库、数据湖和数据结构。但是,在解决方案和平台级别上,需要一个数据结构作为跨企业的所有数据集成、管理和治理的保护伞。企业间的凝聚力是必须的。

行业专家指出,集中数据通常是不可行的。或者使用服务对分析进行原型化,以访问不同的数据源,然后如果它被证明是富有成效的,并且业务需要指示它。中心化在后面完成。

Hurwitz公司分析师DanKirsch指出数据去中心化趋势和数据结构之间的联系。他说,“我们已经看到数据结构方法越来越受欢迎,因为拥有一个中央存储库来保存所有的数据是不现实的。”因此,数据结构需要允许异构数据位置。数据结构方法有助于解决分担责任的挑战,也就是每个团队负责自己的数据,然后将其连接起来,而不是将数据转储到数据湖中。AWS公司认为,数据湖是分析成功的唯一途径。当然,他们希望企业将所有数据都转储到AWS云平台上。

Gartner公司数据与分析副总裁NickHeudecker对此表示赞同,并认为所有这些趋势都很重要。他指出,“每个概念服务于不同的用户和用例,高性能、可重复分析的数据仓库。用于问题开发/实验的数据湖。数据网格用于使用带有治理监督的分布式数据。因此,没有混淆。”

将大数据战略集中在一个平台上

专家们利用双重策略,但坚持单一平台。通常有两种策略。一种策略是针对产品,另一种是针对分析。每个都有自己的核心枢纽平台,并支持多个数据存储库。然后在两个核心枢纽之间有一个ETL平台。

但是,是哪个供应商提供了这些服务的大部分呢?还没有看到任何一款认为能够独立成为完整平台的游戏。

多个数据存储库在很多方面,它不是集中数据,而是集成数据。而如何将所有数据集成起来,使其可视化,并将其连接到其他系统。

集中所有数据会带来成本、管理和安全问题。数据被锁定在业务线应用程序中,在办公场所和云生态系统中。连接数据所在位置有助于消除风险,提高洞察速度。这并不是一个单一的供应商解决方案故事。一些企业提供查询功能,但治理故事还没有被任何人充实起来。大数据中使得移动数据成为一个挑战。多平台是常态。如果幸运的话,可以将工具和技能标准化。

因此,数据结构是一种数据管理概念,用于实现灵活的、可重用的和增强的数据集成管道、服务和语义,以支持跨多个部署和编排平台交付的各种操作和分析用例。

确保遵守数据治理和数据隐私规则

因此,数据结构是一种数据管理概念,用于实现灵活的、可重用的和增强的数据集成管道、服务和语义,以支持跨多个部署和编排平台交付的各种操作和分析用例。

确保遵守数据治理和数据隐私规则

为了有效地管理数据,企业必须清楚地了解自己拥有哪些数据。组织需要了解他们的数据湖或数据结构中有哪些类型的数据。如果个人身份信息(PII)参与了一个特定的应用程序或新的努力,企业需要指派一名高管监督个人数据的适当使用。高管还可以帮助解决数据的可行性和适用性的问题。

管理人员扮演着至关重要的治理角色。因此,定义“管理员”很重要,他们的全部工作就是在信息的最初来源处访问和管理对信息的更正。他们从业务团队中轮换出来,制定KPI。

重要的是预先定义管理员,并知道如何在过程中与他们签入。获得管理员对用户体验设计的反馈也很重要。

云计算技术对大数据战略的影响?

云计算正在成为计算和存储的另一种形式,而不是一个独立的环境。云管理和可见性很重要。假设云计算是一种快速消耗预算的方法。在很多情况下,没有理由将一些应用程序移到云端。能够在云上立即对概念和实验进行证明是非常重要的。

云计算允许组织尝试新事物,并根据需要增加或删除计算能力,而不必等待物理工作完成。

数据过程在哪里成熟?

流程需要明确定义术语的基础。从事务系统开始是至关重要的。如果数据一开始是错误的,就需要花费大量时间来清理和增强该数据。

在促进围绕数据共享场景的领域需要大部分成熟度,比如数据读写能力。数据操作可以帮助提高弹性,但它仍然是一种压倒性的技术实践。

结语

显然,大数据正处于分析师所说的“幻灭低谷”。尽管数据驱动型公司将是长期赢家,但仍有工作要做。

获胜者需要进行数据治理,以使数据足够用于任务和保护。他们还需要改进数据处理过程。数据操作和数据治理可以一起提供帮助。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
4月前
|
数据采集 传感器 人工智能
大数据关键技术之电商API接口接入数据采集发展趋势
本文从数据采集场景、数据采集系统、数据采集技术方面阐述数据采集的发展趋势。 01 数据采集场景的发展趋势 作为大数据和人工智能工程的源头,数据采集的场景伴随着应用场景的发展而变化,以下是数据采集场景的发展趋势。
|
1月前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
1月前
|
存储 数据采集 数据可视化
大数据处理技术
【4月更文挑战第10天】大数据处理涵盖采集、预处理、存储、分析挖掘、展现和应用等关键步骤。采集涉及多种类型数据,预处理确保数据质量,存储管理关注规模、速度和安全,分析挖掘利用机器学习发现价值,展现和应用则通过可视化和检索实现数据价值。云计算和AI强化了大数据处理能力,整体目标是提取数据中的价值,驱动企业和社会进步。
33 4
大数据处理技术
|
5天前
|
机器学习/深度学习 运维 算法
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
近日,由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。
|
10天前
|
存储 机器学习/深度学习 数据采集
大数据处理与分析实战:技术深度剖析与案例分享
【5月更文挑战第2天】本文探讨了大数据处理与分析的关键环节,包括数据采集、预处理、存储、分析和可视化,并介绍了Hadoop、Spark和机器学习等核心技术。通过电商推荐系统和智慧城市交通管理的实战案例,展示了大数据在提高用户体验和解决实际问题上的效能。随着技术进步,大数据处理与分析将在更多领域发挥作用,推动社会进步。
|
22天前
|
存储 数据可视化 大数据
大数据技术框架
【4月更文挑战第20天】大数据一般需要经过6个主要环节,包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化。
|
1月前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
2月前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
2月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。

热门文章

最新文章