企业利用所有数据必须克服的五大挑战

简介:

如今的组织知道他们需要充分有效地利用所有的数据,这包括日益增长的通信数字化,以及从灯泡到智能手机的所有数据。他们也知道,必须捕获各种各样的数据,以便通过能够访问的方式存储数据,并根据业务快速变化的需求查询数据。他们也知道,他们无法忍受刻板的、预先安排好的模式。然而他们发现,这说起来容易做起来难。

那么是什么妨碍了他们实施?有很多事情,而组织必须克服的五大挑战是为了充分利用其数据以及合作伙伴的数据和其他外部数据源。

(1)无法使用多种数据类型和格式。如今的数据有各种格式,规模和形式,必须实时处理和分析。这包括不适合传统关系数据库系统的行和列的数据。更重要的是,这些不同的形式和类型的数据需要无缝地一起使用。丰富的结构化数据,图形数据,地理空间数据和非结构化数据可能都被视为单个查询或事务。

(2)基于传统系统的创新步伐缓慢。如今,技术和业务需求几乎每天都在变化,组织需要进行创新,以保持竞争力和合规性。许多公司却几乎无法处理他们手头上的数据,更不用说未来会发生什么,例如物联网生成的数据。在创新方面进行投资时,他们常常感到沮丧,因为他们需要处理拥有组织的大量数据资产的传统系统,这些系统将成为减缓其进展以及提高有效竞争能力的阻碍。

(3)企业数据仓库的扩散。各种数据的快速增长和企业为客户提供的服务数量的增长,在造成了企业中数据孤岛的扩散。为了更好地服务于客户、监管者和他们自己,企业需要对客户、产品等业务对象创建360度的视图。但是,创建这种整体景观是一项艰巨而耗资巨大的任务。一直以来,企业正在建立更多的数据孤岛。更糟糕的是,数据质量和这些观点的治理常常是事后的结果,甚至会导致监管处罚。

(4)ETL和模式优先系统的使用。关系数据库实际上是大多数组织中存储数据的标准。一旦填充了关系模式,使用SQL进行查询就很简单。这听起来不错,但这是一个大问题,但是组织必须创建查询将被发布的模式。整合所有现有的模式(可能是主机数据和文本内容)需要在业务部门,主题专家和实施者之间进行大量的时间和协调。然后,一旦模型被各利益相关者最终确定,必须将数据从源系统中提取,转化为适合新的模式,然后加载到新的称之为ETL过程(即数据抽取、转换、装载的过程)。这些过程不需要太长时间(平均6-18个月)。而且,它永远不会结束。数据源发生变化。添加新的来源。提出了不同的问题。ETL一直在接受,而不是给予。

(5)背景缺失。也许当今组织最大的问题是认为他们知道他们不知道的东西。没有背景的数据是无用的。这些数据意味着什么?它与其他数据有什么关系?数据的出处是什么?在什么情况下,可以和谁分享?在大多数情况下,这些问题的答案不会在数据库中捕获。它可能在开发人员的头脑中,或者设计文档中,或者ETL脚本里,或者更糟糕的是在所有的这些地方中,但不是一致的。传统数据库并不侧重于存储,管理和查询元数据,而典型的ETL流程通常会将此信息丢弃在本地。放弃背景意味着放弃从数据中获得的最大价值。

那么组织需要做什么呢?越来越多的组织转向多模型数据库。使用多模型数据库,他们可以捕获数据的背景并将其与数据进行存储,从而提供最大的数据敏捷性和可审计性。并且在将来防范数据库系统对任何新类型的数据,转移数据范例或监管要求,不可避免地出现偏移。

考虑采用多模型数据库平台的公司应该寻求:

•多结构的本地存储(结构感知)

•按原样加载数据的能力(在加载数据之前不需要模式)

•能够有效地对这些不同的模型进行索引

•能够无缝地使用所有模型,并进行组合

•企业级安全性和可用性

当然,数据库技术的转变并不轻松,许多IT专业人员在整个职业生涯只专注一种或几种技术。 但是,如果组织有时间确保他们能够有效地收集,分析和利用他们掌握的数据的话,那么现在正是时候。

本文转自d1net(转载)

相关文章
|
2天前
|
云安全 人工智能 算法
以“AI对抗AI”,阿里云验证码进入2.0时代
三层立体防护,用大模型打赢人机攻防战
1292 1
|
9天前
|
编解码 人工智能 自然语言处理
⚽阿里云百炼通义万相 2.6 视频生成玩法手册
通义万相Wan 2.6是全球首个支持角色扮演的AI视频生成模型,可基于参考视频形象与音色生成多角色合拍、多镜头叙事的15秒长视频,实现声画同步、智能分镜,适用于影视创作、营销展示等场景。
698 4
|
2天前
|
机器学习/深度学习 安全 API
MAI-UI 开源:通用 GUI 智能体基座登顶 SOTA!
MAI-UI是通义实验室推出的全尺寸GUI智能体基座模型,原生集成用户交互、MCP工具调用与端云协同能力。支持跨App操作、模糊语义理解与主动提问澄清,通过大规模在线强化学习实现复杂任务自动化,在出行、办公等高频场景中表现卓越,已登顶ScreenSpot-Pro、MobileWorld等多项SOTA评测。
548 2
|
3天前
|
人工智能 Rust 运维
这个神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
加我进AI讨论学习群,公众号右下角“联系方式”文末有老金的 开源知识库地址·全免费
|
2天前
|
存储 弹性计算 安全
阿里云服务器4核8G收费标准和活动价格参考:u2a实例898.20元起,计算型c9a3459.05元起
现在租用阿里云服务器4核8G价格是多少?具体价格及配置详情如下:云服务器ECS通用算力型u2a实例,配备4核8G配置、1M带宽及40G ESSD云盘(作为系统盘),其活动价格为898.20元/1年起;此外,ECS计算型c9a实例4核8G配置搭配20G ESSD云盘,活动价格为3459.05元/1年起。在阿里云的当前活动中,4核8G云服务器提供了多种实例规格供用户选择,不同实例规格及带宽的组合将带来不同的优惠价格。本文为大家解析阿里云服务器4核8G配置的实例规格收费标准与最新活动价格情况,以供参考。
236 150
|
9天前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:七十、小树成林,聚沙成塔:随机森林与大模型的协同进化
随机森林是一种基于决策树的集成学习算法,通过构建多棵决策树并结合它们的预测结果来提高准确性和稳定性。其核心思想包括两个随机性:Bootstrap采样(每棵树使用不同的训练子集)和特征随机选择(每棵树分裂时只考虑部分特征)。这种方法能有效处理大规模高维数据,避免过拟合,并评估特征重要性。随机森林的超参数如树的数量、最大深度等可通过网格搜索优化。该算法兼具强大预测能力和工程化优势,是机器学习中的常用基础模型。
356 164