大数据计算MaxCompute pyodps中使用open_reader会不定时报错怎么办？

大数据计算MaxCompute pyodps中使用open_reader会不定时报 IncompleteRead 是怎么回事呢？Exception requests.packages.urllib3.exceptions.ProtocolError: ProtocolError('Connection broken: IncompleteRead(6584 bytes read, 1600 more expected)', IncompleteRead(6584 bytes read, 1600 more expected)) in 'odps.tunnel.io.reader_c.BaseTunnelRecordReader._set_string' ignored
Traceback (most recent call last):
File "", line 132, in
compute_save_WPP()
File "", line 59, in compute_save_WPP
for record in reader:
File "/usr/lib64/python2.7/site-packages/odps/models/instance.py", line 796, in iter
for record in self.read():
File "/usr/lib64/python2.7/site-packages/odps/models/instance.py", line 819, in read
for record in reader[::step]:
File "/usr/lib64/python2.7/site-packages/odps/readers.py", line 88, in _iter
record = next(self)
File "odps/tunnel/io/reader_c.pyx", line 428, in odps.tunnel.io.reader_c.TunnelRecordReader.next (odps/tunnel/io/reader_c.cpp:8049)
record = self.read()
File "odps/tunnel/io/reader_c.pyx", line 330, in odps.tunnel.io.reader_c.BaseTunnelRecordReader.read (odps/tunnel/io/reader_c.cpp:7529)
cpdef read(self):
File "odps/tunnel/io/reader_c.pyx", line 400, in odps.tunnel.io.reader_c.BaseTunnelRecordReader.read (odps/tunnel/io/reader_c.cpp:7442)
six.reraise(*self._last_error)
File "odps/tunnel/io/reader_c.pyx", line 165, in odps.tunnel.io.reader_c.BaseTunnelRecordReader._read_string (odps/tunnel/io/reader_c.cpp:3813)
val = self._reader.read_string()
File "odps/tunnel/pb/decoder_c.pyx", line 101, in odps.tunnel.pb.decoder_c.Decoder.read_string (odps/tunnel/pb/decoder_c.cpp:2800)
read_bytes = self._stream.read(size)
File "/usr/lib64/python2.7/site-packages/odps/tunnel/io/stream.py", line 248, in read
content = self._internal_read(size_left)
File "/usr/lib64/python2.7/site-packages/odps/tunnel/io/stream.py", line 274, in _internal_read
self._refill_buffer()
File "/usr/lib64/python2.7/site-packages/odps/tunnel/io/stream.py", line 295, in _refill_buffer
content = self._buffer_next_chunk()
File "/usr/lib64/python2.7/site-packages/odps/tunnel/io/stream.py", line 314, in _buffer_next_chunk
return self._read_block()
File "/usr/lib64/python2.7/site-packages/odps/tunnel/io/stream.py", line 319, in _read_block
content = self._input.raw.read(self.READ_BLOCK_SIZE, decode_content=True)
File "/usr/lib64/python2.7/site-packages/requests/packages/urllib3/response.py", line 324, in read
flush_decoder = True
File "/usr/lib64/python2.7/contextlib.py", line 35, in exit
self.gen.throw(type, value, traceback)
File "/usr/lib64/python2.7/site-packages/requests/packages/urllib3/response.py", line 250, in _error_catcher
raise ProtocolError('Connection broken: %r' % e, e)
ProtocolError: ('Connection broken: IncompleteRead(6584 bytes read, 1600 more expected)', IncompleteRead(6584 bytes read, 1600 more expected))2023-10-07 13:59:49 文件【Postman-win64-5.1.2-Setup.exe】发送成功。2023-10-09 10:52:04
cn-beijing-youzheng-d01

展开

收起

真的很搞笑 2023-10-18 23:11:17 185 0

3 条回答

写回答

取消提交回答

wljslmz

公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云云享专家，BOSS直聘创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com
这个问题可能是由于在读取数据时，连接被意外中断导致的。你可以尝试以下方法解决这个问题：
1. 检查你的网络连接是否正常，确保你可以正常访问数据源。
2. 尝试增加读取数据的缓冲区大小，以减少因连接中断导致的数据丢失。你可以在open_reader函数中设置buffer_size参数来实现这一点。例如：
```
from odps import ODPS

# 创建ODPS实例
odps = ODPS(access_id, access_key, project)

# 设置读取数据的缓冲区大小
buffer_size = 1024 * 1024 * 10  # 10MB

# 使用open_reader读取数据
reader = odps.open_reader(table, columns, buffer_size=buffer_size)

# 遍历数据
for record in reader:
    # 处理数据
    pass
```
1. 如果问题仍然存在，你可以尝试使用其他Python库（如pandas）来读取数据，看看是否能够正常读取。如果可以，那么问题可能出在MaxCompute的Python SDK上。
2023-10-19 21:49:22

赞同展开评论打赏
sunrr
这个错误信息通常表示在读取数据时发生了问题。可能的原因包括：
1. 数据源的问题：可能是数据源的连接出现问题，或者数据源中的数据不完整。
2. 网络问题：如果你的数据源位于远程服务器上，那么可能是网络连接出现了问题。
3. 数据格式问题：可能是数据格式与你预期的格式不一致，导致读取数据时出现了错误。
4. 系统资源问题：可能是系统的内存或磁盘空间不足，导致无法读取数据。
你可以尝试以下步骤来解决这个问题：
1. 检查数据源的连接是否正常。
2. 检查网络连接是否正常。
3. 检查数据的格式是否正确。
4. 检查系统的内存和磁盘空间是否充足。
2023-10-19 16:20:43

赞同展开评论打赏
芯在这

这种报错一般是网络抖动，如果endpoint是公网，换成内网或者vpc 。
再增加重试机制，没有其他办法，好像不是公有云的环境。找驻场问问吧，此回答整理自钉群“MaxCompute开发者社区2群”

2023-10-19 07:44:04

赞同展开评论打赏