支持百亿级超大规模表包括什么内容?

已解决

支持百亿级超大规模表包括什么内容?

展开
收起
游客cum3jectrqmmy 2022-01-19 15:41:33 911 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 推荐回答

    在表规模非常大时,以前会报 binlog 分片下发失败的错误,这是因为在超大表对应的 snapsho t 分片会非常多,而 binlog 分片需要包含所有 snapshot 分片信息,当 SourceCoordinator 下发 binglog 分片到 SourceReader 节点时,分片 size 超过 RPC 通信框架支持的最大 size 会导致分片下发失败。虽然可以通过修改 RPC 框架的参数缓解分片 size 过大问题,但无法彻 底解决。2.1 版本里通过将多个 snapshot 分片信息划分成 group 发送,一个 binlog 分片会 切分成多个 group 逐个发送,从而彻底解决该问题。

    资料来源:《Flink CDC:新一代数据集成框架》,下载链接:https://developer.aliyun.com/topic/download?id=8256。

    2022-01-20 11:29:09 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理