JSON数据源、JDBC数据源、 standalone集群测试3 | 学习笔记

简介: 快速学习JSON数据源、JDBC数据源、standalone集群测试3

开发者学堂课程【大数据实时计算框架Spark快速入门JSON数据源、JDBC数据源、

standalone集群测试3】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1712


JSON数据源、JDBC数据源、standalone集群测试3


内容介绍:

一、实操


一、实操

①将 spark 删掉,点代码,将它 expart 出去,导一个单独的类就行,其他通通都不用,将那个文件拖到服务器上来,但是并没有将咋包关联上,要将它放到spark集群里面去,所以让spark连接它,肯定不行,我们就要让mysql_connector连接加进去,

②然后在  master spark  或者  spark801  或者  7077  选一个模式来执行,然后再指定路径看要那个炸包在  jars  下面可以加上额外的炸包。

③最后就是你要执行程序的炸包,应该  myskill  是一个驱动的包,连接数据库,通常需要将  driver  作为驱动的炸包,还需要  class—pass  将它驱动出来,在这个地方,虽然能允许,但是如果用  class  模式来运行的话,我们就不能直接通过class_pass  来执行,因为用  standalone  cluster  模式来运行,配置  spark_env.sh  里面需要多配置  一个spark classpath.  需要将炸包配置到spark_env.sh  里面去,才可以来运行  cluster  模式,将上面的模式配置成spark classpath.

那  standalone cluster  模式也能刨起来,但是会发现亚模式来刨不起来。

因为亚模式需要在  conf/spark_defaults.conf  文件里面配置spark.driver.extraClasspath=/usr/hadoopsoft/spark  和spark.executir.extraClasspath  两行,都要将mysell的链接配置起来,所以统一的方案就是在  spark—defaults.con  下面直接配置,前面所有模式都能够执行了,就不需要一一修改了,这个文件在  conf  下面有一个  templete  先  cope  再进行修改一下。

这种配置特别像  conf ,一个给  driver  配置,一个给  executor  配置将两个都配置  mysql connect  就行了,然后退出将文件远程发过去,接着运行程序了,bin/spark_submit master  用一个  collect  模式来执行接着是炸包在那个地方,需要给  class  传达参数。

因为没有连接,所以可以直接作为参数,接下来就可以跑这个程序了。

相关文章
|
JSON API 数据格式
淘系等商品评论Json数据格式参考,API接口测试
通过以上示例和说明,你可以了解淘系商品评论的JSON数据结构和如何使用相关API接口获取评论数据。在实际操作中,你需要参考具体的API接口文档和开放平台的相关说明进行配置和调用。
|
XML JSON 数据可视化
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
本文详细介绍了不同数据集格式之间的转换方法,包括YOLO、VOC、COCO、JSON、TXT和PNG等格式,以及如何可视化验证数据集。
3884 1
数据集学习笔记(二): 转换不同类型的数据集用于模型训练(XML、VOC、YOLO、COCO、JSON、PNG)
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
299 0
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
360 0
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
222 0
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
262 0
sharding-jdbc 兼容 MybatisPlus的动态数据源
【8月更文挑战第2天】要使 `Sharding-JDBC` 与 `MyBatisPlus` 的动态数据源兼容,需引入相关依赖,配置数据源及分库分表策略,并在 `MyBatisPlus` 中设置参数以协同工作。可能还需自定义代码处理数据源切换。示例代码框架展示整合方式,实际应用中需按具体业务场景详细配置并处理异常情况,如数据一致性问题。
863 1
|
SQL DataWorks 数据可视化
DataWorks操作报错合集之测试OSS数据源的连通性时,出现503 Service Temporarily Unavailable的错误,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
JSON Java 测试技术
单元测试问题之使用JSON文件作为参数化测试的输入源如何解决
单元测试问题之使用JSON文件作为参数化测试的输入源如何解决
312 0
|
JSON 数据格式
Navicate数据报错之Bad Request,发送端口测试的时候,使用JSON字符串,而不是Text
Navicate数据报错之Bad Request,发送端口测试的时候,使用JSON字符串,而不是Text