Note_Spark_Day01：Spark 基础环境

预习视频：
  https://www.bilibili.com/video/BV1uT4y1F7ap
Spark：基于Scala语言
Flink：基于Java语言

1、Spark 框架概述
  是什么？
  四个特点
  模块（部分组成）
  框架运行模式
2、Spark 快速入门
  环境准备
  Spark 本地模式运行程序
  大数据经典程序：词频统计WordCount
  提供WEB UI监控界面

1、分析引擎
  类似MapReduce框架，分析数据
2、统一（Unified）分析引擎
  离线分析，类似MapReduce
  交互式分析，类似Hive
  流式分析，类似Storm、Flink或者双11大屏统计
  科学分析，Python和R
  机器学习
  图计算
3、对大规模海量数据进行统一分析引擎
  大数据分析引擎
  【分布式计算，分而治之思想】

1、Core：核心模块
  数据结构：RDD
    将数据封装到RDD集合，调用集合函数处理数据
2、SQL：结构化数据处理模块
  数据结构：DataFrame、DataSet
    将数据封装DF/DS中，采用SQL和DSL方式分析数据
3、Streaming：针对流式数据处理模块
  数据结构：DStream
    将流式数据分化为Batch批次，封装到DStream中
4、MLlib：机器学习库
  包含基本算法库实现，直接调用即可
  基于RDD和DataFrame类库API
5、GraphX：图计算库
  目前使用不多，被Java领域框架：Neo4J
6、Structured Streaming：从Spark2.0提供针对流式数据处理模块
  将流式数据封装到DataFrame中，采用DSL和SQL方式处理数据
7、PySpark：支持Python语音
  可以使用Python数据分析库及Spark库综合分析数据
8、SparkR：支持R语言
  http://spark.apache.org/docs/2.4.5/sparkr.html

hadoop 2.2.0 在2013年发布，release版本：YARN 版本

超级管理员用户：root/123456
普通用户：itcast/itcast

## 解压软件包
tar -zxf /export/software/spark-2.4.5-bin-cdh5.16.2-2.11.tgz -C /export/server/
## 创建软连接，方便后期升级
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark

# 启动NameNode
hadoop-daemon.sh start namenode
# 启动DataNode
hadoop-daemon.sh start datanode

1、--master local
  JVM进程中启动1个线程运行Task任务
  此时没有并行计算概念
2、--master local[K]
  K 大于等于2正整数
  表示在JVM进程中可以同时运行K个Task任务，都是线程Thread方式运行
3、--master local[*]
  表示由程序获取当前运行应用程序机群上CPU Core核数

## 进入Spark安装目录
cd /export/server/spark
## 启动spark-shell
bin/spark-shell --master local[2]

## 上传HDFS文件
hdfs dfs -mkdir -p /datas/
hdfs dfs -put /export/server/spark/README.md /datas
## 读取文件
val datasRDD = sc.textFile("/datas/README.md")
## 条目数
datasRDD.count
## 获取第一条数据
datasRDD.first

1、第一步、从HDFS读取文件数据，
  sc.textFile方法，将数据封装到RDD中
2、第二步、调用RDD中高阶函数，
  进行处理转换处理，函数：flapMap、map和reduceByKey
3、第三步、将最终处理结果
  RDD保存到HDFS或打印控制台

面试题：
  Scala集合类List列表中，高级函数：reduce、reduceLeft和reduceRight区别？？？？

## 创建文件
vim wordcount.data
## 内容如下
spark spark hive hive spark hive
hadoop sprk spark
## 上传HDFS
hdfs dfs -put wordcount.data /datas/

## 读取HDFS文本数据，封装到RDD集合中，文本中每条数据就是集合中每条数据
val inputRDD = sc.textFile("/datas/wordcount.data")
## 将集合中每条数据按照分隔符分割，使用正则：https://www.runoob.com/regexp/regexp-syntax.html
val wordsRDD = inputRDD.flatMap(line => line.split("\\s+"))
## 转换为二元组，表示每个单词出现一次
val tuplesRDD = wordsRDD.map(word => (word, 1))
# 按照Key分组，对Value进行聚合操作， scala中二元组就是Java中Key/Value对
## reduceByKey：先分组，再聚合
val wordcountsRDD = tuplesRDD.reduceByKey((tmp, item) => tmp + item)
## 查看结果
wordcountsRDD.take(5)
## 保存结果数据到HDFs中
wordcountsRDD.saveAsTextFile("/datas/spark-wc")
## 查结果数据
hdfs dfs -text /datas/spark-wc/par*

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master local[2] \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \
10

<parent>
        <artifactId>bigdata-spark_2.11</artifactId>
        <groupId>cn.itcast.spark</groupId>
        <version>1.0.0</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <artifactId>spark-chapter01_2.11</artifactId>

<repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
        <repository>
            <id>jboss</id>
            <url>http://repository.jboss.com/nexus/content/groups/public</url>
        </repository>
    </repositories>
    <properties>
        <scala.version>2.11.12</scala.version>
        <scala.binary.version>2.11</scala.binary.version>
        <spark.version>2.4.5</spark.version>
        <hadoop.version>2.6.0-cdh5.16.2</hadoop.version>
    </properties>
    <dependencies>
        <!-- 依赖Scala语言 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <!-- Spark Core 依赖 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- Hadoop Client 依赖 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>
    <build>
        <outputDirectory>target/classes</outputDirectory>
        <testOutputDirectory>target/test-classes</testOutputDirectory>
        <resources>
            <resource>
                <directory>${project.basedir}/src/main/resources</directory>
            </resource>
        </resources>
        <!-- Maven 编译的插件 -->
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

192.168.88.100    node1.itcast.cn    node1
192.168.88.101    node2.itcast.cn    node2
192.168.88.102    node3.itcast.cn    node3

192.168.88.100    node1.itcast.cn    node1
192.168.88.101    node2.itcast.cn    node2
192.168.88.102    node3.itcast.cn    node3