Spark..........WordCount

简介:

quickstart 将英文单词基数 简单 整个过程比起hadoop快很多


package com.zhiyou100

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

  def main(args: Array[String]): Unit = {


    //创建分布式运行平台  和appname
    //使用master制定运行平台 yarn staandalong mesos(生产坏境) local(开发调试)
    //local(单线程) local[N](多线程) local[*](本地cpu有多少个核心就启动多少个线程)

//    val conf =new SparkConf().setMaster("local[2]").setAppName("word count")
//    val conf =new SparkConf().setMaster("spark://master:7077").setAppName("word count")
    val conf = new SparkConf()//.setAppName("word count")
    conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可

    // 构建SparkContect对象
    val sc =new SparkContext(conf)
    //加载数据源 获取RDD对象
    val fileRdd =sc.textFile("/reversetext/LICENSE.txt").flatMap(line=>line.split("\\s")).map(x=>(x,1)).reduceByKey((v1,v2)=>v1+v2)

    println("这是一个Driver 输出")

    fileRdd.foreach(println)

  }


}

相关文章
|
6月前
|
存储 分布式计算 程序员
Spark中的RDD介绍
Spark中的RDD介绍
49 0
|
6月前
|
消息中间件 分布式计算 Kafka
Spark【Spark Streaming】
Spark【Spark Streaming】
|
分布式计算 Linux 流计算
194 Spark Streaming实现实时WordCount
194 Spark Streaming实现实时WordCount
67 0
|
分布式计算 大数据 Spark
|
消息中间件 分布式计算 Kafka
spark RDD
RDD
72 0
|
分布式计算 Spark
Spark:pyspark的WordCount实现
Spark:pyspark的WordCount实现
174 0
Spark:pyspark的WordCount实现
|
机器学习/深度学习 存储 SQL
重要 | Spark和MapReduce的对比
【前言:笔者将分两篇文章进行阐述Spark和MapReduce的对比,首篇侧重于"宏观"上的对比,更多的是笔者总结的针对"相对于MapReduce我们为什么选择Spark"之类的问题的几个核心归纳点;次篇则从任务处理级别运用的并行机制方面上对比,更多的是让大家对Spark为什么比MapReduce快有一个更深、更全面的认识。通过两篇文章的解读,希望帮助大家对Spark和MapReduce有一个更深入的了解,并且能够在遇到诸如"MapReduce相对于Spark的局限性?"等类似的面试题时能够得到较好地表现,顺利拿下offer】
重要 | Spark和MapReduce的对比