前文介绍了开源大数据比对平台设计和实践,最近将整体业务流程进行了完善和开发。
一、目前当前版本实现了如下功能:
(1)低代码简单配置完成数据比对核心功能
(2)数据量级比对、数据一致性比对
二、系统功能演示
系统主页(系统功能和技术栈介绍)
数据库配置信息页面(目前已经实现了MySQL、Hive)
job配置信息页面(选择数据源和表以及主键和对比字段)
对比结果页面展示(量级对比、一致性对比)
三、后续开发计划:
(1)差异case发现
(2)数据指针探测----枚举值探测、范围探测、数值探测、主键取模探测
(3)数据比对任务定时自动调度
(4)对比结果自动发送邮件报告
四、具体代码参考
https://github.com/zhugezifang/dataCompare
https://gitee.com/ZhuGeZiFang/data-compare