AI 助理
备案控制台
开发者社区 大数据与机器学习 正文

咨询下，大家用Flink CDC采集数据之后，下游是怎么消费的？有用MQ接收的吗？现在碰到一个问题，

咨询下，大家用Flink CDC采集数据之后，下游是怎么消费的？有用MQ接收的吗？现在碰到一个问题，下游如果用MQ接收(不可改变)，配置多个消费者的话，如何保证消息消费的顺序一致性呀？比如如果用pulsar的shared的模式，顺序就错乱了。如果用其他的模式，又会引发单节点问题，以及动态调整消费节点的复杂度，请问有什么建议处理这种场景呢？

展开
收起
真的很搞笑 2023-06-11 16:52:28 102 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    我下游是用kafka接收的，我是单独指定分区消费的，此回答整理自钉群“Flink CDC 社区”

    2023-06-11 17:02:41
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版 云消息队列 MQ
问答标签：
实时计算 Flink版数据 实时计算 Flink版CDC 实时计算 Flink版cdc数据 云消息队列 MQ数据 云消息队列 MQ flink
问答地址：
开发者社区 > 大数据与机器学习 > 问答
相关问答
请教下，flink cdc采集oracle 的adg备份库报错，这种情况如何解决？
268
7
0
微消息队列MQTT版使用通配符订阅的方式有些消息接收不到
161
1
0
rabbitmq的公网tps限制，会不会因为一段时间接收到的消息远超出限制而阻塞掉客户端发送的消息？
48
1
0
RocketMQ在消息投递时，Topic+Tag的组合确定消息应被哪些消费者接收？
240
2
0
MQTT现在有个现象是，客户端发的数据，本来正常发送接收的，然后突然就没有数据了，这个该如何排查呢？
92
0
0
在Flink CDC中采集oracle19c的pdb库 报这个错误，如何解决？
113
1
0
对于Flink CDC，这个报错是cdc3.1.0还不支持mysql的列字段名变更功能采集吗
88
1
0
RocketMQ ACL 2.0服务端接收到请求后的第一步处理是什么？
51
1
0
在Flink CDC中MySQL采集时出现字段变更时报错，3.1.1是还不支持吗？
98
1
0
RocketMQ配置磁盘空间95%才报警，但是到90%就已经无法接收消息了，要怎么办呢?
382
1
0

大数据与机器学习

大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。

我要提问

相关文章

  • 直播预告｜Kafka+Flink 双引擎实战：手把手带你搭建分布式实时分析平台！
  • Flink x Paimon 在抖音集团生活服务的落地实践
  • 美团面试：对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题？
  • 基于Spring Data Redis与RabbitMQ实现字符串缓存和计数功能（数据同步）
  • 实时开发平台，为企业数据开发难题配备“智能导航”

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • data overflow-convert from 1456.52 to scale overfl
  • 请问如何在微软的Autogen 0.4框架下使用Qwen模型实现工具调用？
  • paraformer问题
  • 我在Java里使用langchain4j，搭建本地的RAG。
  • 如何用实时数据同步打破企业数据孤岛？
  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
  • PyFlink有什么优势吗？
  • 在api调用夸克搜索时，遇到权限不足问题
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
    • 展开全部
  • 阿里云开源离线同步工具DataX3.0介绍
  • DataV首次实战分享：教你30分钟创建汽车大屏
  • 【玩转数据系列九】机器学习为您解密雾霾形成原因
  • 身怀绝技的开发者们，快来DataV玩转可视化组件
  • 阿里封神谈hadoop生态学习之路
  • odps是什么?
  • 拍立淘-以图搜图中的图像搜索算法
  • ajax请求总是不成功？浏览器的同源策略和跨域问题详解
  • 【技术实验】mysql准实时同步数据到Elasticsearch
  • 数据仓库介绍与实时数仓案例
    • 展开全部
    还有其他疑问?
    咨询AI助理