开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

想用flink做数据质量控制有可以借鉴的方案吗?

想用flink做数据质量控制有可以借鉴的方案吗

展开
收起
爱喝咖啡嘿 2023-01-03 14:30:20 289 0
2 条回答
写回答
取消 提交回答
  • 需要先确定数据质量规则、数据质量指标、需不需要收集不符合要求的数据,对应就是统计方式、侧输出流收集——该回答整理自钉群“Flink CDC 社区”

    2023-01-06 11:14:15
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,可以通过Apache Griffin+Flink+Kafka实现流式数据质量监控,flink流式数据分成三个部分,读取kafka,业务处理,写入kafka。

    2023-01-04 07:55:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载