Spark修炼之道系列教程预告

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
云解析DNS,个人版 1个月
简介: 课程内容Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)Spark修炼之道(进阶篇)——Spark入门到精通(30讲)Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)Spark修炼之道(高级篇)——Spark源码解析(50讲)部分内容会在实际编写时动态调整,或补充、或删除。Spark修炼之道(基础篇)—

课程内容

  1. Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)
  2. Spark修炼之道(进阶篇)——Spark入门到精通(30讲)
  3. Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)
  4. Spark修炼之道(高级篇)——Spark源码解析(50讲)

部分内容会在实际编写时动态调整,或补充、或删除。

Spark修炼之道(基础篇)——Linux大数据开发基础(15讲)、

  1. Linux大数据开发基础——第一节:Ubuntu Linux安装与介绍
  2. Linux大数据开发基础——第二节:Linux文件系统、目录(一)
  3. Linux大数据开发基础——第三节:Linux文件系统、目录(二)
  4. Linux大数据开发基础——第四节:Linux用户、组与权限管理
  5. Linux大数据开发基础——第五节:软件包管理
  6. Linux大数据开发基础——第六节:进程管理
  7. Linux大数据开发基础——第七节:网络管理
  8. Linux大数据开发基础——第八节:SSH原理与应用
  9. Linux大数据开发基础——第九节:vi编程器(一)
  10. Linux大数据开发基础——第十节:vi编程器(二)
  11. Linux大数据开发基础——第十一节:shell编程基础(一)
  12. Linux大数据开发基础——第十二节:shell编程基础(二)
  13. Linux大数据开发基础——第十三节:shell编程基础(三)
  14. Linux大数据开发基础——第十四节:shell编程基础(四)
  15. Linux大数据开发基础——第十五节:Java开发环境、MySQL及Tomcat等的安装与使用

Spark修炼之道(基础篇)——Akka并发编程(国内首发,Scala版)

  1. Akka并发编程——第一节:Akka简介、开发环境部署及第一个Akka应用程序
  2. Akka并发编程——第二节:Actors、Typed Actors、ActorSystem
  3. Akka并发编程——第三节:Akka 容错机制
  4. Akka并发编程——第四节:FUTURES AND AGENTS
  5. Akka并发编程——第五节:Akka 消息通道
  6. Akka并发编程——第六节:Akka 事务
  7. Akka并发编程——第七节:Routing、IO等
  8. Akka并发编程——第八节:分布式环境下Akka应用程序开发

Spark修炼之道(进阶篇)——Spark入门到精通(30讲)

  1. Spark入门到精通(入门)——第一节:Spark简介,主要介绍Spark生态系统、架构及容错机制
  2. Spark入门到精通——第二节:开发环境部署(一),Linux系统安装、Hadoop集群搭建
  3. Spark入门到精通——第三节:开发环境部署(二),Hadoop集群搭建、Spark集群部署及测试
  4. Spark入门到精通——第四节:开发环境部署(三),Intellij IDEA Spark开发环境搭建并开发第一个Spark应用程序
  5. Spark入门到精通——第五节:Spark交互式命令行,如何使用Spark交互式命令行、理解Spark任务提交流程、执行流程,如果通过WebUI查看任何执行状态
  6. Spark入门到精通——第六节:RDD弹性分布式数据集,介绍RDD实现原理,理解什么是Action和Transformation,理解窄依赖与宽依赖
  7. Spark入门到精通——第七节:RDD 常用函数(一)
  8. Spark入门到精通——第八节:RDD 常用函数(二)
  9. Spark入门到精通——第九节:RDD 常用函数(三)
  10. Spark入门到精通——第十节:Spark Job执行原理分析、shuffle操作解析
  11. Spark入门到精通——第十一节:Spark广播变量与累加器、Cache与checkpoint问题
  12. Spark入门到精通——第十二节:Spark多语言编程
  13. Spark入门到精通(Spark SQL)——第十三节: Spark SQL组件、架构
  14. Spark入门到精通(Spark SQL)——第十四节: DataFrame、SparkSQL运行原理
  15. Spark入门到精通(Spark SQL)——第十五节: Spark SQL基础应用
  16. Spark入门到精通(Spark SQL)——第十六节: 复杂应用案例实战
  17. Spark入门到精通(Spark SQL)——第十七节: SparkSQL性能调优
  18. Spark入门到精通(Spark Streaming)——第十八节: Spark Streaming运行原理、DStream
  19. Spark入门到精通(Spark Streaming)——第十九节: DStream 常用函数(一)
  20. Spark入门到精通(Spark Streaming)——第二十节: DStream 常用函数(二)
  21. Spark入门到精通(Spark Streaming)——第二十一节: 应用案例实战
  22. Spark入门到精通(Spark MLlib)——第二十二节: Machine Learning On Spark简介、常用数据结构
  23. Spark入门到精通(Spark MLlib)——第二十三节:逻辑回归算法实战
  24. Spark入门到精通(Spark MLlib)——第二十四节:K均值算法实战
  25. Spark入门到精通(Spark MLlib)——第二十五节:协同过滤推荐算法实战
  26. Spark入门到精通(Spark MLlib)——第二十六节:卷积神经网络CNN算法实战
  27. Spark入门到精通(Spark MLlib)——第二十七节:高级文本处理实战
  28. Spark入门到精通(Spark MLlib)——第二十八节:基于Spark Streaming的实时机器学习实战
  29. Spark入门到精通(Spark Graphx)——第二十九节:Spark图计算简介、Spark Graphx架构与原理
  30. Spark入门到精通(Spark Graphx)——第三十节: Graphx常用数据结构(例如Vertices等)
  31. Spark入门到精通(Spark Graphx)——第三十一节: Graphx基本操作实战
  32. Spark入门到精通(Spark Graphx)——第三十二节: PageRank算法实战
  33. Spark入门到精通(Spark R) ——第三十三节:Spark R 与结束语

Spark修炼之道(实战篇)——Spark应用开发实战篇(15讲)

  1. Spark应用开发实战——第一节:Spark实时推荐系统开发(一)
  2. Spark应用开发实战——第二节:Spark实时推荐系统开发(二)
  3. Spark应用开发实战——第三节:Spark实时推荐系统开发(三)
  4. Spark应用开发实战——第四节:Spark实时推荐系统开发(四)
  5. Spark应用开发实战——第五节:Spark实时推荐系统开发(五)
  6. Spark应用开发实战——第六节:Spark SQL网站日志分析(一)
  7. Spark应用开发实战——第七节:Spark SQL网站日志分析(二)
  8. Spark应用开发实战——第八节:Spark SQL网站日志分析(三)
  9. Spark应用开发实战——第九节:Spark SQL网站日志分析(四)
  10. Spark应用开发实战——第十节:Spark SQL网站日志分析(五)
  11. Spark应用开发实战——第十一节:金融数据分析案例(一)
  12. Spark应用开发实战——第十二节:金融数据分析案例(二)
  13. Spark应用开发实战——第十三节:金融数据分析案例(三)
  14. Spark应用开发实战——第十四节:金融数据分析案例(四)
  15. Spark应用开发实战——第十五节:金融数据分析案例(五)

Spark修炼之道(高级篇)——Spark源码解析(50讲)

  1. Spark源码解析——Spark源码分析环境搭建、源码分析技巧
  2. Spark源码解析——RDD源码分析
  3. Spark源码解析——SparkContext源码分析
  4. Spark源码解析——TaskScheduler源码分析
  5. Spark源码解析——DAGScheduler源码分析
  6. Spark源码解析——Spark Standalone调度器源码分析
  7. Spark源码解析——Worker、Executor源码分析
  8. Spark源码解析——MLib 源码分析
  9. Spark源码解析——DataFrame源码分析
  10. Spark源码解析——DStream源码解析
  11. ………………………………………………………
目录
相关文章
|
2月前
|
SQL 分布式计算 Spark
Spark 教程系列
Spark 教程系列
43 0
|
8天前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
161 0
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
|
19天前
|
分布式计算 运维 Serverless
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
在大数据快速发展的时代,流式处理技术对于实时数据分析至关重要。EMR Serverless Spark提供了一个强大而可扩展的平台,它不仅简化了实时数据处理流程,还免去了服务器管理的烦恼,提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务,展示其在流处理方面的易用性和可运维性。
147 0
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
|
2月前
|
SQL 分布式计算 Hadoop
【Spark】Spark基础教程知识点
【Spark】Spark基础教程知识点
|
2月前
|
SQL 分布式计算 Java
Spark 基础教程:wordcount+Spark SQL
Spark 基础教程:wordcount+Spark SQL
45 0
|
8月前
|
消息中间件 分布式计算 Kafka
Flink教程(30)- Flink VS Spark(下)
Flink教程(30)- Flink VS Spark(下)
60 0
|
8月前
|
分布式计算 API 调度
Flink教程(30)- Flink VS Spark(上)
Flink教程(30)- Flink VS Spark(上)
120 0
|
SQL 机器学习/深度学习 分布式计算
spark与pyspark教程(一)
spark与pyspark教程(一)
356 0
|
SQL 分布式计算 资源调度
Spark集群搭建超详细教程
今天为大家带来分布式计算引擎Spark集群搭建,还是使用三个虚拟机节点上进行安装部署,围绕Standalone模式和Yarn模式的这两种部署模式进行展开。
727 0
|
分布式计算 Hadoop Java
VMware创建Linux虚拟机之(五)Spark完全分布式部署教程
VMware创建Linux虚拟机之(五)Spark完全分布式部署教程
316 0
VMware创建Linux虚拟机之(五)Spark完全分布式部署教程