JSON 数据源、JDBC 数据源、 standalone 集群测试3 | 学习笔记

简介: 快速学习 JSON 数据源、JDBC 数据源、standalone 集群测试3

开发者学堂课程【大数据实时计算框架Spark快速入门JSON数据源、JDBC数据源、standalone 集群测试3】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1712


JSON  数据源、JDBC  数据源、standalone  集群测试3


内容介绍:

一、实操


一、实操

①将 spark 删掉,点代码,将它 expart 出去,导一个单独的类就行,其他通通都不用,将那个文件拖到服务器上来,但是并没有将咋包关联上,要将它放到spark集群里面去,所以让spark连接它,肯定不行,我们就要让mysql_connector连接加进去,

②然后在  master spark  或者  spark801  或者  7077  选一个模式来执行,然后再指定路径看要那个炸包在  jars  下面可以加上额外的炸包。

③最后就是你要执行程序的炸包,应该  myskill  是一个驱动的包,连接数据库,通常需要将  driver  作为驱动的炸包,还需要  class—pass  将它驱动出来,在这个地方,虽然能允许,但是如果用  class  模式来运行的话,我们就不能直接通过class_pass  来执行,因为用  standalone  cluster  模式来运行,配置  spark_env.sh  里面需要多配置  一个spark classpath.  需要将炸包配置到spark_env.sh  里面去,才可以来运行  cluster  模式,将上面的模式配置成spark classpath.

那  standalone cluster  模式也能刨起来,但是会发现亚模式来刨不起来。

因为亚模式需要在  conf/spark_defaults.conf  文件里面配置spark.driver.extraClasspath=/usr/hadoopsoft/spark  和spark.executir.extraClasspath  两行,都要将mysell的链接配置起来,所以统一的方案就是在  spark—defaults.con  下面直接配置,前面所有模式都能够执行了,就不需要一一修改了,这个文件在  conf  下面有一个  templete  先  cope  再进行修改一下。

这种配置特别像  conf ,一个给  driver  配置,一个给  executor  配置将两个都配置  mysql connect  就行了,然后退出将文件远程发过去,接着运行程序了,bin/spark_submit master  用一个  collect  模式来执行接着是炸包在那个地方,需要给  class  传达参数。

因为没有连接,所以可以直接作为参数,接下来就可以跑这个程序了。

相关文章
|
1月前
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
62 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
|
2月前
sharding-jdbc 兼容 MybatisPlus的动态数据源
【8月更文挑战第2天】要使 `Sharding-JDBC` 与 `MyBatisPlus` 的动态数据源兼容,需引入相关依赖,配置数据源及分库分表策略,并在 `MyBatisPlus` 中设置参数以协同工作。可能还需自定义代码处理数据源切换。示例代码框架展示整合方式,实际应用中需按具体业务场景详细配置并处理异常情况,如数据一致性问题。
126 1
|
3月前
|
SQL DataWorks 数据可视化
DataWorks操作报错合集之测试OSS数据源的连通性时,出现503 Service Temporarily Unavailable的错误,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
分布式计算 大数据 Hadoop
最快方式搭建docker大数据 测试集群
【8月更文挑战第5天】快速搭建Docker大数据测试集群可采用预构建镜像与Compose文件、利用云服务如AWS的ECS、自动化工具如Ansible或参考在线教程。只需简单配置如内存分配及路径,运行`docker-compose up`即可启动含NameNode、DataNode等组件的Hadoop集群。根据需求与资源选择合适方法。
|
4月前
|
SQL DataWorks 数据处理
DataWorks操作报错合集之在创建ES的数据源时,测试连通性提示无法连通,出现报错,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
4月前
|
分布式计算 Shell Linux
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
52 0
|
4月前
|
SQL druid Java
JDBC、C3P0、DBCP、Druid 数据源连接池使用的对比总结.md2
JDBC、C3P0、DBCP、Druid 数据源连接池使用的对比总结.md
29 0
|
4月前
|
SQL druid Java
JDBC、C3P0、DBCP、Druid 数据源连接池使用的对比总结.md1
JDBC、C3P0、DBCP、Druid 数据源连接池使用的对比总结.md
42 0
|
5月前
|
SQL 人工智能 自然语言处理
让老板成为数据分析师--ChatGpt链接本地数据源实战测试
本文探究ChatGpt等AI机器人能否帮助老板快速的做数据分析?用自然语言同老板进行沟通,满足老板的所有数据分析的诉求?
|
22天前
|
移动开发 JSON Java
Jmeter实现WebSocket协议的接口测试方法
WebSocket协议是HTML5的一种新协议,实现了浏览器与服务器之间的全双工通信。通过简单的握手动作,双方可直接传输数据。其优势包括极小的头部开销和服务器推送功能。使用JMeter进行WebSocket接口和性能测试时,需安装特定插件并配置相关参数,如服务器地址、端口号等,还可通过CSV文件实现参数化,以满足不同测试需求。
99 7
Jmeter实现WebSocket协议的接口测试方法
下一篇
无影云桌面