开发者社区> 问答> 正文

Spark S3最终一致性问题

社区小助手 2018-12-12 13:27:11 459

我有几个Spark作业,它们将数据写入S3并从中读取数据。偶尔(大约每周一次大约3个小时),Spark作业将失败,但有以下异常:

org.apache.spark.sql.AnalysisException: Path does not exist.
我发现这可能是由于S3中的一致性模型,其中列表操作最终是一致的。S3 Guard声称要解决这个问题,但我在Spark环境中不支持该实用程序。

有没有其他人遇到这个问题,并想出一个合理的方法来处理它?

分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:20:07

    如果您使用的是AWS EMR,它们可提供一致的EMR。
    如果您使用的是Databricks:它们在事务IO中提供了一致性机制
    HDP和CDH都附带S3Guard
    如果您正在运行自己的自制saprk堆栈,请转到Hadoop 2.9+以获得S3Guard,甚至更好:Hadoop 3.1用于零重命名S3A提交器。
    否则:不要使用S3作为工作的直接目的地。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程