DataWorks加载几万行之后报错,该从哪里下手查询呢?

关于 DataWorks,在使用pyodps的时候 用o.execute_sql(sql).open_reader(tunnel=True) as reader: 的方式读取sql结果,加载几万行之后报错ConnectionResetError: [Errno 104] Connection reset by peer 上周4开始出现的情况 相关脚本持续运行了2个多月没出过问题 该从哪里下手查询呢?

展开
收起
wenti 2023-01-29 18:26:12 146 分享 版权
1 条回答
写回答
取消 提交回答
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    脚本持续运行了2个月没有问题,目前出现问题,Connection reset by peer连接重置错误,一般来说应该是由于数据量上来了,同样的脚本处理数据的话导致了读取数据超时从而报错提示连接重置失败,这个时候有两种方案:1.可以增大连接超时时间,从而保证数据加载完成;2.优化脚本中的sql,提高读取数据的查询效率,节省时间,让总时长控制在超时时间阈值内。

    2023-01-30 17:13:53
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理