备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

如何基于flink 实现两个很大的数据集的交集 并集 差集

如何基于flink 实现两个很大的数据集的交集 并集 差集？ 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

展开
收起
黄一刀 2019-11-20 19:39:09 5064 0
2 条回答
写回答
取消 提交回答
  • 虎纠小老头

    目前没有直接支持的算子吧，你要写逻辑，你可以在keyby 之后process 函数里，针对每收到的数据进行处理，把需要的信息保存在状态内，再注册一个TIMER，然后在 timer 里 输出，再接后续filter。

    2019-11-21 09:08:26
    赞同 展开评论 打赏
  • 黄二刀

    先union-》keyby->打标签的方式->根据标签来判断

    2019-11-20 19:39:44
    赞同 展开评论 打赏
问答分类：
流计算 开发者 实时计算 Flink版
问答标签：
实时计算 Flink版数据集
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
Flink CDC中我一个流作业kafka接收到的一个表数据想跟一个固定数据集做关联 该怎么做？
65
3
0
Flink 流批一体是如何处理有限数据集的作业？
438
1
0
Flink使用批处理，DataSet获取HBase的数据，自定义的数据集该怎么写？
2486
0
0
在将Flink数据集写入hdfs时如何创建Job对象
3952
1
0
各位大佬，请教一下，如果在flink cdc sql客户端 使用SQL查询表，怎么能记录原系统的数据
1852
1
0
那cdc最新版支持到flink的哪个版本，flink1.15还有guava兼容性问题吗？
966
0
0
flink cdc(mysql) -> elasticsearch7, 任务每次持续跑了一段时间之后
930
2
0
哪位有编译好的cdc 2.2.0版本能能试用flink 1.14.2的包呀？
709
1
0
各位大佬，请教个问题，使用flink cdc读取数据时，如果配置一个表，数据过滤是发生在server
1709
3
0
flink cdc 怎么做断点续传啊
5691
6
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1637
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9686
  • Flink CDC有遇见这个问题的吗？
    377
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    645
  • 哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？
    1290
  • Flink 语句有啥方法不写字段能直接拥有源表的所有字段？
    720
  • 使用Flink CDC，生产环境要申请的服务器如何评估
    715
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    2153
  • Flink CDC中The MySQL server has a 兄弟们这个错误咋搞啊？
    406
  • Alink是什么意思？
    1858
    • 展开全部
  • 数据仓库介绍与实时数仓案例
    40092
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
    22084
  • OPPO数据中台之基石：基于Flink SQL构建实数据仓库
    20806
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
    26163
  • 回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
    13632
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
    15887
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
    13842
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
    17693
  • Apache Flink 漫谈系列(04) - State
    13585
  • Flink SQL 功能解密系列 —— 数据去重的技巧和思考
    10555
    • 展开全部

    相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
    582
    29
    去学习
  • Apache Flink 入门到实战 - Flink开源社区出品
    1392
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3806
    10
    去学习
  • 开源 Flink 极速上手教程
    1752
    7
    去学习
  • 大数据实时计算框架Spark快速入门
    778
    93
    去学习
  • Apache Flink 入门
    4826
    9
    去学习

    • 相关文章

  • 构建高效微服务架构：后端开发的新趋势
  • 什么是开发者门户？最佳实践及示例
  • 拥抱不确定性：软件开发中的敏捷思维与持续学习
  • 深入理解 Linux 文件系统的权限控制
  • Yarn的安装和使用

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
    33
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    38
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    229
    1.0小时
    去实验
  • 使用Flink实时发现最热Github项目
    843
    1.0小时
    去实验
  • 使用PolarDB-X与Flink搭建实时数据大屏
    188
    1.0小时
    去实验