Spark Sreaming实战(一)-教程概述

1  实战目标

• 至今专栏的访问量
  
• 至今从搜索引擎引流过来的专栏的访问量
  

2 实战流程

3 可视化显示

• 使用Spring Boot整合Echarts
  
• 阿里云DataV数据可视化框架
  

4 教程概要

• 初识实时流处理
  
• 日志收集框架Flume
  
• 消息队列Kafka
  
• 实战环境搭建
  
• Spark Streaming入门
  
• Spark Streaming进阶
  
• Spark Streaming集成Kafka
  
• Spark Streaming集成Flume
  

5 计划

• 整合Flume、Kafka、 Spark Streaming打造通用的流处理平台基础
  
• Spark Streaming项目实战
  
• 数据处理结果可视化
  
• 拓展
  

6 前提

• 熟悉Linux基本命令
  
• 熟悉Scala/Python/Java
  
• 有Hadoop和Spark基础
  

7 环境

• JDK : 1.8
  
• Hadoop: CDH ( 5.7 )
  
• Scala : 2.12
  
• Spark: 2.4.1