AI 助理
备案控制台
开发者社区 问答 正文

RDS中用EMR构建离线数仓，如何保证数据的正确性？

RDS中用EMR构建离线数仓，如何保证数据的正确性？

展开
收起
鸡蛋灌饼儿 2023-01-15 18:29:05 350 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 月亮很亮

    数据准确性这块儿，可以配合dataworks的数据质量DQC的强弱规则，这块会帮助我们及时感知源端数据的变更与ETL中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延，保证数据准确性。避免任务产出问题数据，影响正常使用和业务决策——该回答整理自钉群“企业运维训练营之大数据EMR原理与实践”

    2023-01-15 19:46:01
    赞同 展开评论
问答分类：
关系型数据库 RDS 云原生数据仓库AnalyticDB MySQL版 云数据库 RDS MySQL 版
问答标签：
云数据库 RDS MySQL 版数据 离线云原生数据仓库AnalyticDB MySQL版 云原生数据仓库AnalyticDB MySQL版数据 云原生数据仓库AnalyticDB MySQL版构建 构建云原生数据仓库AnalyticDB MySQL版
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
hologres能映射emr的hive外表吧 hive 表往 holo 写数据 有啥好的办法 ？
119
1
0
快手实时数仓相比离线数仓，在保障上有哪些难点？
79
1
0
为了解决离线数仓的问题，实时数仓使用了什么方案？
52
1
0
离线数仓存在哪两个比较严重的问题？
88
1
0
离线数仓使用什么方法来处理超大数据的场景，同时控制成本？
46
2
0
我如何将一个oss 挂载到emr集群。 以便通过hive sql 查询oss 里的日志数据？
69
0
0
在Flink CDC中，CDC 同步MySql到StarRocks 离线阶段报了这个错？
40
1
0
机器学习PAI训练数据的原始 hive表存在emr集群，pai如何才能组装好训练数据进行模型训练呢？
60
1
0
实时离线数仓一体化常用的解决方案有哪些问题？
67
1
0
离线数仓使用 2种方案，资源利用率哪种好？
46
0
0