使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接? 2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接? 2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy

2017-05-19 17:18:04 10093 1

使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接?
2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下:
Aliyun ODPS Command Line Tool
Version 0.21.1
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ wzd_dataplatform>show instances;
Warning: ODPS request failed:connect timed out, retryCount:1, will retry in 130 seconds.

取消 提交回答
全部回答(1)
  • 知与谁同
    2019-07-17 21:11:48

    建议:
    1. 在执行时,外配一个crontab,做,netstat | grep dsthost类似的命令,三十秒做一次,顺次保存到文件里,就可以回顾整个过程中的网络并发数量,和开出的端口数等。

    2. 打日志,每次write的时候,输出的数量,开始和结束的时间,让我们能看到每次write时的更具体的信息和统计write的次数。

    以下都可能导致不大稳定:
    a. 大量的小数据量高并发,导致很多的tcp TIME_WAIT或者CLOSE_WAIT,这样很难保证很多万次的请求一次错都不发生
    b. 是否有大数据量上传,超时设置5秒是有点短的
    c. 完全不考虑重试

    console工具,也是访问这个endpoint,我们的设置是,超时80秒,每次访问失败后会重试三次。

    0 0
相关问答

1

回答

请问java数据层框架Mybatis与直接使用JDBC性能比较如何,该如何选择,选择的依据是什么?

2021-11-07 13:50:21 1136浏览量 回答数 1

1

回答

“ValueError:num必须是1 <= num <= 0,而不是1”试图绘制Pandas DataFrame的直方图?

2019-01-21 13:52:54 9130浏览量 回答数 1

0

回答

druid中的创建连接线程在网络IO位置每次都阻塞15秒,数据库使用的是rds

2017-05-31 11:34:16 4093浏览量 回答数 0

1

回答

对一个TCP连接执行write或send函数,当函数成功返回时,是否意味着数据已经成功被对方接收?

2016-06-15 10:53:56 2167浏览量 回答数 1

1

回答

对一个TCP连接执行write或send函数,当函数成功返回时,是否意味着数据已经成功被对方接收?

2016-06-14 16:52:05 1681浏览量 回答数 1

1

回答

在AIX 6.1系统上安装net-snmp,并配置使用 403.10 禁止访问:配置无效 

2020-05-28 13:28:12 390浏览量 回答数 1

0

回答

物联网应用开发IoT Studio训练营 里的 视频同步麻烦从新处理一下

2022-01-04 01:51:39 323浏览量 回答数 0

1

回答

请问我的实例名称: dds-wz95fa71c2e15ff4能升级到Mongodb 4.0吗?

2019-03-07 10:37:42 388浏览量 回答数 1

1

回答

使用SQL Server数据库和.NET框架存储和检索邮政地址的最佳方法是什么?

2019-12-28 23:04:03 551浏览量 回答数 1

1

回答

flink 1.13.1 通过yarn-application运行批应用,处理mysql源一亿条数据

2021-12-08 09:57:10 317浏览量 回答数 1
+关注
10071
文章
2994
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载