OushuDB 小课堂丨零拷贝集成:小数据实践将如何取代大数据

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: OushuDB 小课堂丨零拷贝集成:小数据实践将如何取代大数据

数据的未来很小。

随着组织努力应对不断增加的数据量,大数据运动的局限性变得越来越明显。在过去的二十年里, 大数据 以尖端软件的形式提供了好处,使数据的生成、收集和合并对组织广泛可用。这些积极影响既广泛又明显,从航空的最佳路线规划到金融部门的欺诈检测和风险管理,甚至在联邦层面追踪传染病。

但今天, 数据存储、清洁和准备以及结构化已经开始超出我们从所有这些信息中收集我们想要的东西的能力。大数据有时可能太大,以至于我们无法按照实时业务的步伐进行实际分析和利用。


将大数据转化为小数据


也许解决这个问题的方法是小数据。小数据是对用户更友好、更易于访问并提供可衡量收益的信息。小数据的目标是在正确的时间为分析师提供他们需要的数据,以便他们做出最明智和最及时的决策。

在寻求将大数据转换为小数据时,公司可以采取几种不同的途径。最直接的方法是创立一家以数据为中心的理念的公司,建立在数据与公司任何其他资产同等重要的基本理解之上。

这实际上意味着为所需的每个类别创建一组数据,并制定政策强制员工从数据中提取他们需要的内容,并将可操作的准确信息返回给各自的部门。

这可能需要组织小组重新组织他们从中央“黄金记录”数据中获取的数据。但是,只有少数负责维护数据集完整性的专家有权更改组织的主要数据集。

与此同时,世界其他地方通过复制数据集、更改这些数据集而不维护“黄金记录”数据集的完整性,无意中使他们的情况复杂化。

尽管复制和更改所有这些数据集最初可以帮助组织在短期内实现摆在他们面前的任何目标,但今天的后果包括孤立的数据集,使机器无法与这些数据库进行通信并从中提取相关信息。

以数据为中心的架构是围绕有目的地围绕数据的操作构建的。这也意味着安全和治理协议可以插入数据本身,因此它能够保护自己。

然而,当今私营和公共部门的不幸事实是,绝大多数公司和组织无法突然转变为以数据为中心。那些确实转向这一战略的公司受益于从头开始发展和扩大规模的能力。


零拷贝集成解决方案


理想情况下,由重复数据集引起的问题将通过零拷贝集成解决——无需复制或以其他方式物理移动数据的按需集成数据。

此过程将数据拉到一起,而不是将其粘贴到数据存储单元(如池、湖和仓库)中。这允许跨多个数据集进行联合查询,分析师可以在其中利用黄金记录(事实来源),而不必将它们复制到另一个数据孤岛中。

零拷贝集成还允许“数据洁净室”,可以在不泄露实际数据的情况下比较和分析来自不同来源的敏感数据。这可以使用不共享数据但仍然能够分析数据并识别相关位以进行多方计算的密码学来完成。

例如,行业监管者可能想要了解许多公司有多少共同客户。客户拥有数据并能够遵守隐私和合规惯例。但是使用密码技术,普通人可以在不共享信息的情况下得到答案。

近年来,各行各业的公司花费了数千万美元和人力小时试图以更高效、更不易出错并提供真实见解的方式重新定位其数据管理系统。但这个过程不可避免地缓慢且昂贵。

零拷贝集成功能很快将成为公司用来扩大规模和保持竞争力的主要燃料类型之一。那些采用这种方法的人突然吹嘘自己的市场差异化优势。那些忽视这个问题的人将被抛在后面,很可能会停止运作。

但买进必须发生在执行团队层面。首席信息官了解零拷贝集成是未来。但他们需要他们的最高管理层同事分享这一愿景。

如果组织的最高领导者没有认识到这种转变的必要性并提供资源来实现变革,那么就不可能顺利过渡到新的和改进的系统。


将未来带入现在


转换为零拷贝集成数据管理系统的财务成本可能仍会阻止许多公司迈出这一步。组织意识到零拷贝集成提供的竞争优势,但如果成本超出预算,变革的步伐就会缓慢。

类似于互联网早期采用者的创新者将成为使零拷贝集成成为现实的推动者。这些人具有极强的动机来共享数据和协作以实现巨大的创新飞跃。

同样,学术研究人员——包括那些从事癌症数据和其他改变生活项目的研究人员——将与大数据运动的领导者一起属于这一群体。

但与最初对互联网的犹豫不决随后得到更广泛的接受类似,时间将证明零拷贝集成和以数据为中心的架构将如何成为公司计划的关键部分,因为它们希望保持竞争优势。

金融科技公司已经在使用语义图技术来实施零拷贝集成,国际供应链公司已经认识到通过以数据为中心来优化运营的动机。

一旦这种策略的早期采用者获得的好处变得明显,零拷贝集成将改变业务的开展方式——就像短短几年前的大数据一样。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
9天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1198 4
|
8天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1131 87
|
7天前
|
机器学习/深度学习 物联网
Wan2.2再次开源数字人:Animate-14B!一键实现电影角色替换和动作驱动
今天,通义万相的视频生成模型又又又开源了!Wan2.2系列模型家族新增数字人成员Wan2.2-Animate-14B。
580 11
|
18天前
|
人工智能 运维 安全
|
8天前
|
云栖大会
阿里云云栖大会2025年9月24日开启,免费申请大会门票,速度领取~
2025云栖大会将于9月24-26日举行,官网免费预约畅享票,审核后短信通知,持证件入场
1698 12
|
1天前
|
资源调度
除了nrm-pm,还有哪些工具可以管理多个包管理器的源?
除了nrm-pm,还有哪些工具可以管理多个包管理器的源?
212 127
|
9天前
|
弹性计算 Kubernetes jenkins
如何在 ECS/EKS 集群中有效使用 Jenkins
本文探讨了如何将 Jenkins 与 AWS ECS 和 EKS 集群集成,以构建高效、灵活且具备自动扩缩容能力的 CI/CD 流水线,提升软件交付效率并优化资源成本。
345 0
|
9天前
|
消息中间件 Java Apache
SpringBoot集成RocketMq
RocketMQ 是一款开源的分布式消息中间件,采用纯 Java 编写,支持事务消息、顺序消息、批量消息、定时消息及消息回溯等功能。其优势包括去除对 ZooKeeper 的依赖、支持异步和同步刷盘、高吞吐量及消息过滤等特性。RocketMQ 具备高可用性和高可靠性,适用于大规模分布式系统,能有效保障消息传输的一致性和顺序性。
509 2

热门文章

最新文章