开发者社区 问答 正文

大佬们,求教一个问题pyflink任务,当数据量过大(测试是10M以上)就会有这个报错:#Flink

大佬们,求教一个问题pyflink任务,当数据量过大(测试是10M以上)就会有这个报错: File "pyarrow/ipc.pxi", line 360, in pyarrow.lib._RecordBatchStreamReader._open File "pyarrow/error.pxi", line 123, in pyarrow.lib.pyarrow_internal_check_status File "pyarrow/error.pxi", line 100, in pyarrow.lib.check_status OSError: Expected IPC message of type schema but got record batch 有遇到过的吗?该怎么解决呢?不知道是不是pyarrow这个的问题,版本才是0.17.1版本,实际版本都到3.0.0了#Flink

展开
收起
黄一刀 2021-02-01 09:58:56 3753 分享
分享
版权
举报
0 条回答
写回答
取消 提交回答
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等