AI 助理
备案控制台
开发者社区 问答 正文

起多个线程来进行Stream load吗？但是几千张表怎么搞好像都不太好处理。

起多个线程来进行Stream load吗？但是几千张表怎么搞好像都不太好处理。

展开
收起
真的很搞笑 2023-04-19 14:09:53 119 分享 版权
来自： 阿里云实时计算Flink

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    表的数量倒是无所谓的，因为监听 binlog 以后，处理之前，我会先通过正则去匹配表名，如果表太多，也可以起不同的 slot 去监听不同的正则匹配表。不过由于当时的 doris 是基于 1.1.3 的，没有多表事务，所以如果作业由于某条特殊的记录导致同步失败，job 挂了，无法保证数据的一致性，所以我们一般如果检测到挂了，就自动重启 job，从当前 binlog offset 开始消费。然后自动全量同步一遍。，此回答整理自钉群“Flink CDC 社区”

    2023-04-19 22:25:08
    赞同 展开评论
问答分类：
实时计算 Flink版
问答标签：
线程load 线程stream
问答地址：
开发者社区 > 阿里云实时计算Flink > 问答
相关问答
当myserv应用的线程CPU使用率都达到100%时，为什么分析整个系统的load用处不大？
143
1
0
并发在JAVA可以显式使用线程池或者stream fork/join隐式去做，二者适合什么样的场景？
120
2
0
JDK 8 新增的lambda、stream等相关内容可以结合多线程或者虚拟线程提升性能么？
86
1
0
我从mysql读出来一个stream，想给他放到一个类似java的本地缓存里，让所有的线程都能读写，
639
1
0
flink cdc启动时候报错线程不够 可以通过什么方式解决吗
688
1
0
【OSS】在Mac环境中Python多线程运行报错，是什么原因？
5043
1
0
服务器主线程输入quit报错但线程关闭的原因是什么？
581
1
0
MFC多线程程序如果一个线程报错 ?报错
536
1
0
C++使用pthread_create创建线程报错 ?报错
750
1
0
mysql 中的SQL线程报错问题 <b> ?报错
686
1
0
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。
问答排行榜
最热
最新
  • 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家 德哥
  • 据说在家办公的程序员是这样写代码的？
  • 阿里云开放端口权限
  • 如何升级配置
  • 【藏经阁一起读（27）】本周推荐《Apache Flink案例集（2022版）》，你有哪些心得？
  • “数据超人”MCP工具，到底是怎么让数据‘燃’起来的？
  • DeepSeek V3.1 昨天还能用tool，今天怎么就用不了了？
  • 我正在搭建智能体，遇到下图问题，不知道怎么解决
  • 用了一年多的lingma 插件，现在.lingma 文件夹有三十多个g，这是正常的吗，是否会继续变大
  • 通义千问 和 通义千问开源系列 有什么区别？

    • 相关文章

  • 对话王峰：Apache Flink 在 AI 时代的“剑锋”所向
  • Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
  • 「48小时极速反馈」阿里云实时计算Flink广招天下英雄
  • Apache Flink错误处理实战手册：2年生产环境调试经验总结
  • 抖音基于Flink的DataOps能力实践
    • 还有其他疑问?
    咨询AI助理