开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

支持百亿级超大规模表包括什么内容?

已解决

支持百亿级超大规模表包括什么内容?

展开
收起
游客cum3jectrqmmy 2022-01-19 15:41:33 896 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    在表规模非常大时,以前会报 binlog 分片下发失败的错误,这是因为在超大表对应的 snapsho t 分片会非常多,而 binlog 分片需要包含所有 snapshot 分片信息,当 SourceCoordinator 下发 binglog 分片到 SourceReader 节点时,分片 size 超过 RPC 通信框架支持的最大 size 会导致分片下发失败。虽然可以通过修改 RPC 框架的参数缓解分片 size 过大问题,但无法彻 底解决。2.1 版本里通过将多个 snapshot 分片信息划分成 group 发送,一个 binlog 分片会 切分成多个 group 逐个发送,从而彻底解决该问题。

    资料来源:《Flink CDC:新一代数据集成框架》,下载链接:https://developer.aliyun.com/topic/download?id=8256。

    2022-01-20 11:29:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
存储世界,不止如此 腾讯EB级存储引擎背后的技术 立即下载
存储世界,不止如此-EB级存储引擎背后的技术 立即下载
腾讯TB级别的海量日志监控平台 立即下载