E-MapReduce Spark如何简单操作 OSS 文件?

使用 OSS SDK 存在的问题


若在 Spark 或者 Hadoop 作业中无法直接使用 OSS SDK 来操作 OSS 中的文件，是因为OSS SDK 中依赖的http-client-4.4.x 版本与 Spark 或者 Hadoop 运行环境中的 http-client存在版本冲突。如果要这么做，就必须先解决这个依赖冲突问题。实际上在 E-MapReduce 中，Spark 和 Hadoop 已经对 OSS做了无缝兼容，可以像使用 HDFS 一样来操作 OSS 文件。

• 当前E-MapReduce环境支持MetaService服务，可以支持在E-MapReduce环境面AK访问OSS数据。旧的显示写AK的方式依旧支持，请注意在操作OSS的时候优先使用内网的Endpoint。
• 当您需要在本地进行测试的时候，才要用到OSS的外网的Endpoint，这样才能从本地访问到OSS的数据。

1.    [Scala]
3.    import org.apache.hadoop.conf.Configuration
4.    import org.apache.hadoop.fs.{Path, FileSystem}
6.    val dir = "oss://bucket/dir"
7.    val path = new Path(dir)
8.    val conf = new Configuration()
9.    conf.set("fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
11.    val fs = FileSystem.get(path.toUri, conf)
12.    val fileList = fs.listStatus(path)
14.    ...
17.    [Java]
19.    import org.apache.hadoop.conf.Configuration;
20.    import org.apache.hadoop.fs.Path;
21.    import org.apache.hadoop.fs.FileStatus;
22.    import org.apache.hadoop.fs.FileSystem;
24.    String dir = "oss://bucket/dir";
25.    Path path = new Path(dir);
26.    Configuration conf = new Configuration();
27.    conf.set("fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem");
29.    FileSystem fs = FileSystem.get(path.toUri(), conf);
30.    FileStatus[] fileList = fs.listStatus(path);
32.    ...