Spark访问OSS数据采用什么方式?

Spark访问OSS数据采用什么方式?

展开
收起
zxynnn 2022-05-10 12:09:52 1070 分享 版权
1 条回答
写回答
取消 提交回答
  • 开源版Spark访问OSS数据默认采用Hadoop FileFormat接口直接对接OSSFileSystem实现。该方法在实践中发现存在性能差,一致性难以保证等问题。

    2022-05-10 13:04:35
    赞同 展开评论

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

还有其他疑问?
咨询AI助理