开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我在写clickhouse的时候,全量同步每次写到1亿多数据的时候,clickhouse就会报错,我

我在写clickhouse的时候,全量同步每次写到1亿多数据的时候,clickhouse就会报错,我是按照月分区的,分区不多,但是但是我source三张表,读取的时间是乱序的,clickhouse后台一直再合并分区,默认是1万,设置成100万也会报错,请问有什么办法能解决? 8c6b53e1f2c7cc9cf4fbfe34afff0a62.png

展开
收起
十一0204 2023-04-03 16:52:00 284 0
1 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    一批次写入分区数太多,检查你配置的max_parts_in_total设置的多少? 一批次只写一个分区的数据,一批次一个分区,一批次数据量可以大一些,10-100w,如果用cdc不好改,那你把每批次的数据量改大一些试试, 根本问题是全量读取的source是乱序的,不是按时间,clickhouse后台一直再合并分区,我看clickhouse的分区分布,是乱序的,一会几个月前的数据,一会又是现在的数据。此回答整理自钉群“Flink CDC 社区”

    2023-04-05 09:11:06
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
阿里云 ClickHouse 企业版技术白皮书 立即下载
ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
云数据库clickhouse最佳实践 立即下载