开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在大数据计算MaxCompute中,请问有人使用过这个连接器或者遇到过这个问题吗?

在使用https://github.com/aliyun/aliyun-maxcompute-data-collectors/tree/master/spark-datasource-v3.1 中开源的spark连接器往maxcompute写数据时会在固定时间段报错(大概在凌晨的1点到5点之间任意时间点随机发生),白天则可以正常写入数据,报错中提示java.net.SocketException: Unexpected end of file from server,请问有人使用过这个连接器或者遇到过这个问题吗。d9a138a32b277bfe8a635148b3174882.jpg

展开
收起
崔问问 2023-12-03 22:24:39 31 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于网络连接不稳定或者服务器端出现了问题导致的。建议您检查以下几点:

    1. 检查您的网络连接是否稳定,可以尝试在本地测试一下是否可以正常连接到MaxCompute服务。
    2. 检查您的MaxCompute服务是否正常运行,可以尝试使用其他工具或者客户端进行测试。
    3. 检查您的代码是否有问题,可以尝试重新编译一下代码并重新运行。
    2023-12-04 16:58:13
    赞同 展开评论 打赏
  • 这个错误提示java.net.SocketException: Unexpected end of file from server通常是由于网络连接问题导致的。可能的原因包括:

    1. 服务器端在固定时间段内出现了异常,导致无法正常响应客户端的请求。
    2. 网络连接不稳定,导致数据传输过程中出现了错误。
    3. 防火墙或其他安全设置阻止了连接。

    针对这个问题,您可以尝试以下解决方案:

    1. 检查服务器端的日志,查看是否有任何异常或错误信息。如果有,请根据日志中的错误信息进行排查和修复。
    2. 确保网络连接稳定,并尝试使用其他网络环境进行测试。如果问题仍然存在,则可能是由于网络连接不稳定导致的。
    3. 检查防火墙或其他安全设置,确保它们不会阻止连接。如果需要,可以暂时禁用防火墙或其他安全设置进行测试。
    2023-12-04 15:14:21
    赞同 展开评论 打赏
  • 查一下MaxCompute table 的小文件多不多。建议merge一下小文件。再测试一下写入数据。此回答整理自钉钉群:MaxCompute开发者社区1群

    2023-12-04 08:04:54
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载