dataCompare大数据对比之异源数据对比

简介: dataCompare大数据对比之异源数据对比

从0到1介绍一下开源大数据比对平台dataCompare

已经详细介绍了dataCompare 的功能,目前dataCompare 已经实现同源数据的对比

一、dataCompare 现有核心功能如下:

(1)数量级对比

(2)一致性对比

(3)差异case 自动发现

(4)定时调度自动对比数据

二、背景

但是上述功能目前只是针对于同源数据的对比,首先来介绍一下文中提到的同源和异源的概念

同源数据定义:

(1)相同的数据存储(比如说:mysql 和mysql,Hive 和Hive、Doris和Doris),因此只适用相同的数据存储

(2)同库或者同集群,比如说:Hive 和Hive 数据对比,要保证数据能在通一个集群进行运行,通常是利用集群来进行大批量数据的对比校验

因此,能够非常明显的看到目前大数据对比平台功能只适用于数据迁移中的对比,而不适用于数据架构升级,比如说:本来Hive 存储的数据由于架构升级需要迁移到Iceberg 或者Doris 等等数据存储中。

自从代码开源之后,获取了不少关注着,它们都提出了异源对比的要求。那么何为异源数据呢?

(1)不同的数据存储,比如说:Hive 和Doris、Hive和Iceberg 等等

(2)相同的数据存储,但是可能会跨库跨集群,也就是没办法把两边的数据在一个集群里面运行对比(如果能在一个集群里面获取到两边的数据还是认为同源的)

三、遇到的问题

那么针对异源数据的对比,有没有什么办法呢,又会遇到哪些问题呢?

目前异源数据对比存在如下问题:

(1)跨存储,不同的存储导致所支持的sql 不同,比如说Hive和ClickHouse,明显支持的sql 就有差异

(2)数据量大,没办法直接在内存里面进行对比,同源数据都是利用集群的方式进行对比的

四、解决方案

为了解决异源数据对比,目前提出了如下两种解决方案

(1)最简单的方案,把数据弄到一起,也就是转成同源数据对比,但是这样明显很浪费时间,需要数据同步,同时也浪费存储

(2)利用一些技巧来实现异源数据的对比

本文主要介绍如何利用一些数据的技巧来实现异源数据的对比

比如说:由于数据架构升级,之前的Hive(user_info_hive) 数据 升级到用Doris(user_info_doris) 进行存储(要求:表结构不变,只是数据存储升级)

(1)分别计算user_info_hive、user_info_doris 的pv和uv,分别记录为pv_hive,pv_doris,uv_hive,uv_doris

(2)采用hash的方式,a.对于user_info_hive、user_info_doris 的主键 user_id 进行hash,分别统计;b.对于user_info_hive、user_info_doris 所有字段拼接构建md5分别hash 统计

(3)一致性校验:选择user_info_hive、user_info_doris 其中主键user_id hash值相同的1w 条数据进行对比,看有多少条数据两边同时都能找到

因此通过上述的数据技巧,来进行对比数据也是非常合理的,同样能够达到数据对比的效果。


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
3月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
34 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
9天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
13 3
|
12天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。