quickstart 将英文单词基数 简单 整个过程比起hadoop快很多
package com.zhiyou100
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
//创建分布式运行平台 和appname
//使用master制定运行平台 yarn staandalong mesos(生产坏境) local(开发调试)
//local(单线程) local[N](多线程) local[*](本地cpu有多少个核心就启动多少个线程)
// val conf =new SparkConf().setMaster("local[2]").setAppName("word count")
// val conf =new SparkConf().setMaster("spark://master:7077").setAppName("word count")
val conf = new SparkConf()//.setAppName("word count")
conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可
// 构建SparkContect对象
val sc =new SparkContext(conf)
//加载数据源 获取RDD对象
val fileRdd =sc.textFile("/reversetext/LICENSE.txt").flatMap(line=>line.split("\\s")).map(x=>(x,1)).reduceByKey((v1,v2)=>v1+v2)
println("这是一个Driver 输出")
fileRdd.foreach(println)
}
}