JSON 数据源、JDBC 数据源、 standalone 集群测试3 | 学习笔记

简介: 快速学习 JSON 数据源、JDBC 数据源、standalone 集群测试3

开发者学堂课程【大数据实时计算框架Spark快速入门JSON数据源、JDBC数据源、standalone 集群测试3】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1712


JSON  数据源、JDBC  数据源、standalone  集群测试3


内容介绍:

一、实操


一、实操

①将 spark 删掉,点代码,将它 expart 出去,导一个单独的类就行,其他通通都不用,将那个文件拖到服务器上来,但是并没有将咋包关联上,要将它放到spark集群里面去,所以让spark连接它,肯定不行,我们就要让mysql_connector连接加进去,

②然后在  master spark  或者  spark801  或者  7077  选一个模式来执行,然后再指定路径看要那个炸包在  jars  下面可以加上额外的炸包。

③最后就是你要执行程序的炸包,应该  myskill  是一个驱动的包,连接数据库,通常需要将  driver  作为驱动的炸包,还需要  class—pass  将它驱动出来,在这个地方,虽然能允许,但是如果用  class  模式来运行的话,我们就不能直接通过class_pass  来执行,因为用  standalone  cluster  模式来运行,配置  spark_env.sh  里面需要多配置  一个spark classpath.  需要将炸包配置到spark_env.sh  里面去,才可以来运行  cluster  模式,将上面的模式配置成spark classpath.

那  standalone cluster  模式也能刨起来,但是会发现亚模式来刨不起来。

因为亚模式需要在  conf/spark_defaults.conf  文件里面配置spark.driver.extraClasspath=/usr/hadoopsoft/spark  和spark.executir.extraClasspath  两行,都要将mysell的链接配置起来,所以统一的方案就是在  spark—defaults.con  下面直接配置,前面所有模式都能够执行了,就不需要一一修改了,这个文件在  conf  下面有一个  templete  先  cope  再进行修改一下。

这种配置特别像  conf ,一个给  driver  配置,一个给  executor  配置将两个都配置  mysql connect  就行了,然后退出将文件远程发过去,接着运行程序了,bin/spark_submit master  用一个  collect  模式来执行接着是炸包在那个地方,需要给  class  传达参数。

因为没有连接,所以可以直接作为参数,接下来就可以跑这个程序了。

相关文章
|
3月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
64 4
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
95 4
|
3月前
|
分布式计算 大数据 Spark
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(二)
53 1
|
3月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
56 1
|
3月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
58 1
|
3月前
|
存储 大数据 Apache
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试
29 0
|
3月前
|
存储 SQL 分布式计算
大数据-135 - ClickHouse 集群 - 数据类型 实际测试
大数据-135 - ClickHouse 集群 - 数据类型 实际测试
52 0
|
3月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
77 0
|
3月前
|
存储 SQL 分布式计算
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
57 0
|
3月前
|
Java 关系型数据库 MySQL
mysql5.7 jdbc驱动
遵循上述步骤,即可在Java项目中高效地集成MySQL 5.7 JDBC驱动,实现数据库的访问与管理。
609 1

热门文章

最新文章