分布式系统概述（来自学习资料）
2 分布式系统概述
注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念
2.1 分布式软件系统(Distributed Software Systems)
² 该软件系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能
² 比如分布式操作
Spark 写出MySQL报错，java.sql.BatchUpdateException
spark DataFrame 写出到MySQL时报如下错误：
java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect
原因： 写出的DataFrame 表结构和MySQL中创建的表结构不一致，
2个 DataFrame join 后的结果中有两列都是“name”列。
Spark 的 Shell操作，核心概念，构建独立应用
1：Spark中的Python和Scala的shell
2：Spark核心概念简介
3：独立应用
4：Spark数据集
一：Spark中的Python 和Scala 的shell
1：shell设置显示日志
进入Spark的安装目录，启动spar...