开发者社区> 问答> 正文

Flink写入odps报错Too many dynamic partitions: 100, ...

已解决

Flink写入odps报错Too many dynamic partitions: 100, which exceeds the size limit: 100

展开
收起
提个问题 2024-06-08 10:12:58 10 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    内存中会把出现过的分区和 Tunnel/writer 的映射关系维护到一个map里,如果这个 map 的大小超过了 dynamicPartitionLimit 参数值就会报错。odps的with参数dynamicPartitionLimit默认值是100,可以适当的调大这个参数。
    2024-06-08 10:12:59
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载