开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样?

DataWorks拉取clickhouse4000w表报错, 显示超过限制时间, 为什么会这样?image.png
Caused by: java.lang.Throwable: Code: 160. DB::Exception: Received from ck-uf6lnm05qfws13r5d-sbni-clickhouse-s-0-r-0.ck-uf6lnm05qfws13r5d-sbni-clickhouse-headless.ck-1520293563732723.svc.cluster.local:3003. DB::Exception: Estimated query execution time (178735.48039242995 seconds) is too long. Maximum: 172800. Estimated rows to process: 610605372: While executing MergeTreeThread. (TOO_SLOW) (version 22.8.5.29)

展开
收起
cuicuicuic 2023-12-10 18:21:40 107 0
1 条回答
写回答
取消 提交回答
  • 查询超时 这个超时看着应该是服务端配置的 可以和ck的dba同学确认看下查询的超时时间设置的多长1)优化ck任务,加切分键 尽量使用业务主键 加并发,reader最终应该会拼接成查询语句 调整这些参数相当于优化查询sql2)ck数据源配置jdbc看是否可以加超时参数设置之类的3)ck服务端调整超时参数4)任务拆分执行 每次少同步写image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 09:25:26
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

热门讨论

热门文章

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多