DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样？
DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样？
Caused by: java.lang.Throwable: Code: 160. DB::Exception: Received from ck-uf6lnm05qfws13r5d-sbni-clickhouse-s-0-r-0.ck-uf6lnm05qfws13r5d-sbni-clickhouse-headless.ck-1520293563732723.svc.cluster.local:3003. DB::Exception: Estimated query execution time (178735.48039242995 seconds) is too long. Maximum: 172800. Estimated rows to process: 610605372: While executing MergeTreeThread. (TOO_SLOW) (version 22.8.5.29)
写回答
-
查询超时 这个超时看着应该是服务端配置的 可以和ck的dba同学确认看下查询的超时时间设置的多长1）优化ck任务，加切分键 尽量使用业务主键 加并发，reader最终应该会拼接成查询语句 调整这些参数相当于优化查询sql2）ck数据源配置jdbc看是否可以加超时参数设置之类的3）ck服务端调整超时参数4）任务拆分执行 每次少同步写
，此回答整理自钉群“DataWorks交流群(答疑@机器人)”2023-12-11 09:25:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
相关文章
相关电子书
更多
