备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

消费datahub后，怎么记录消费点位？下次重启任务后不重复消费

消费datahub后，怎么记录消费点位？下次重启任务后不重复消费

展开
收起
游客3oewgrzrf6o5c 2022-07-18 18:20:39 930 0
1 条回答
写回答
取消 提交回答
  • 游客bcfx2q4kttgbm

    使用sparkstream和kafuka（此答案整理自实时计算Flink产品交流群）

    2022-07-19 10:41:54
    赞同 展开评论 打赏
问答分类：
实时计算 Flink版 数据总线 DataHub
问答标签：
数据总线 DataHub重启 数据总线 DataHub任务
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
DataWorks有没有办法同步datahub数据时，结束时间设置为任务实际运行开始时间？
41
1
0
DataWorks数据集成侧的同步任务 数据来源不支持datahub到oss吗？
46
2
0
实时计算 Flink版任务写入到datahub，任务虽然失败重启了，但是里面会丢失部分数据，为什么？
4
0
0
请问下，DataWorks中实时同步任务，mysql同步到datahub，重置点位生成的最短时间点？
42
1
0
你好 我想问下， 实时任务读取datahub，如果任务重启是否会存在重复消费
209
3
0
RDS MySQL同步至DataHub中任务步骤配置的说明是什么？
252
1
0
datahub里的topic连接有个通道显示error重启不了，请帮忙看一下，谢谢
545
0
0
datahub的topic连接里的通道error重启不了，请帮忙定位一下，谢谢
604
0
0
DataWorks中kafka数据如何导入datahub？
94
1
0
两个ASCM控制台，其中一个控制台的Blink消费另一个控制台的DataHub数据，请问可以实现吗？
65
2
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1637
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9686
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    645
  • 哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？
    1290
  • Flink 语句有啥方法不写字段能直接拥有源表的所有字段？
    720
  • Flink CDC有遇见这个问题的吗？
    375
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    2153
  • Flink CDC中The MySQL server has a 兄弟们这个错误咋搞啊？
    406
  • 使用Flink CDC，生产环境要申请的服务器如何评估
    714
  • Alink是什么意思？
    1858
    • 展开全部
  • 数据仓库介绍与实时数仓案例
    40090
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
    22083
  • OPPO数据中台之基石：基于Flink SQL构建实数据仓库
    20806
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
    26163
  • 回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
    13632
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
    15887
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
    13840
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
    17693
  • Apache Flink 漫谈系列(04) - State
    13585
  • Flink SQL 功能解密系列 —— 数据去重的技巧和思考
    10555
    • 展开全部

    相关课程

    更多
  • 消息队列 RocketMQ 全类型业务消息学习课程
    2008
    2
    去学习

    • 相关文章

  • DataWorks产品使用合集之DataWorks补数据如何解决
  • DataWorks产品使用合集之DataWorks补数据如何解决
  • DataWorks产品使用合集之DataWorks中，配置DataHub数据源如何解决
  • 流计算引擎数据正确性的挑战
  • 大数据组件之Storm简介

    • 相关电子书

    更多
    • 基于RocketMQ Connect 构建全新数据流转处理平 立即下载
    万亿级数据洪峰下的消息引擎——Apache RocketMQ 立即下载
    万亿级数据洪峰下的消息引擎-Apache RocketMQ 立即下载

    相关实验场景

    更多
  • 消息队列RocketMQ版：消费异常运维排查体验
    173
    1.0小时
    去实验
  • 消息队列RocketMQ版：定时消息通知功能体验
    222
    1.0小时
    去实验
  • 消息队列RocketMQ版：基础消息收发功能体验
    1669
    1.0小时
    去实验
  • 钉钉群中如何接收IoT温控器数据告警通知
    10783
    1.0小时
    去实验