E-MapReduce kSpark + OSS是什么?

Spark + OSS



Spark 接入 OSS


当前E-MapReduce支持 MetaService服务，支持用户在E-MapReduce环境免AK访问OSS数据源。旧的显式写AK和Endpoint方式也支持，但需要注意OSSEndpoint请使用内网域名，所有的Endpoint可以参考 OSSEndpoint。
下面这个例子演示了Spark如何免AK从OSS中读入数据，并将处理完的数据写回到OSS 中。

1.     val conf = new SparkConf().setAppName("Test OSS")
2.     val sc = new SparkContext(conf)
4.     val pathIn = "oss://bucket/path/to/read"
5.     val inputData = sc.textFile(pathIn)
6.     val cnt = inputData.count
7.     println(s"count: $cnt")
9.     val outputPath = "oss://bucket/path/to/write"
10.     val outpuData = inputData.map(e => s"$e has been processed.")
11.     outpuData.saveAsTextFile(outputPath)

• Spark接入OSS