CDC 2.2 全量抽数能做限速么

CDC 2.2 全量抽数能做限速么

展开
收起
游客3oewgrzrf6o5c 2022-07-04 16:48:05 305 分享 版权
阿里云 AI 助理回答

在进行全量数据抽取(CDC 2.2全量抽数)时,支持限速操作以控制同步速度。具体配置方式如下:

  1. 配置限速参数:通过设置throttle参数为true来启用限速功能,并且需要指定具体的限速值mbps(兆比特每秒)。如果未设置mbps值,程序将运行错误或速率异常。

  2. 注意点

    • 限速设置是基于作业(job)级别的,对整个同步任务的传输速率进行限制。
    • 对于半结构化数据的单个文件,没有切分键概念,但可以为多个文件的同步任务设置一个总体的速率上限,此上限与文件数量相关。例如,有n个文件,则作业速率上限建议不超过n MB/s。
    • 关系型数据库的同步任务,在设置了切分键后,可依据作业速率上限进行数据切分,以实现更细粒度的限速控制。Oracle数据库支持数值型和字符串类型作为切分键。
  3. 优化与注意事项

    • 确保同步任务中的where条件有索引,避免全表扫描导致的同步效率下降。
    • 调整BatchSizemaxfilesize参数以平衡批量提交记录数与网络交互次数,提升吞吐量同时避免内存溢出(OOM)问题。

综上所述,CDC 2.2全量数据抽取确实支持限速功能,通过合理配置限速参数和其他优化措施,可以有效控制数据同步的速度和资源消耗。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理