日志分析实战之清洗日志小实例3:如何在spark shell中导入自定义包

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志分析实战之清洗日志小实例3:如何在spark shell中导入自定义包

加载


上一篇文章,生成了包,那么这个包该如何加载到spark环境中,并且为我们所使用。那么首先改如何加载这个包。

首先将这个包放到spark中的lib文件夹下。


6a5e600865f431968eba490e188e8b2f.jpg

在复制到Linux中,首先需要修改的就是权限。

我们看到用户和组的权限为500,并且用户,所属组,及其它用户都为满权限,

可以通过下面命令来实现

sudo chown 500:500 ScalaApacheAccessLogParser-master.jar


sudo chmod -R a+r ScalaApacheAccessLogParser-master.jar


sudo chmod -R a+w ScalaApacheAccessLogParser-master.jar


sudo chmod -R a+x ScalaApacheAccessLogParser-master.jar


通过上面命令即可实现授权。

授权完毕,接着我们就需要把这个包,加载到spark shell环境中。

./bin/spark-shell --jars lib/ScalaApacheAccessLogParser-master.jar

接着我们执行导入jar包

import com.alvinalexander.accesslogparser._


ea4844825645b7f84266b48734509dd7.jpg

至此我们就可以使用第三方包了。


问题:

同时尝试了比较多的导入方式,没有成功,记录下来共大家借鉴。

./bin/spark-shell –master spark://master:7077 –jars ScalaApacheAccessLogParser-master.jar


MASTER=local[4] ADD_JARS=/data/spark/lib/AlsApacheLogParser.jar ./bin/spark-shell

导入的时候,并不会报错,但是import的时候,报错。

05480c1f329c0d41ed4b75965cc54d3b.jpg

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
7月前
|
Shell
shell脚本实战示例
shell脚本实战示例
93 6
|
7月前
|
Unix Shell
Linux--自定义shell
Linux--自定义shell
|
2月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
104 0
|
2月前
|
Shell 应用服务中间件 网络安全
|
6月前
|
移动开发 监控 安全
【实战指南】从零构建嵌入式远程Shell,提升跨地域协作效率
构建嵌入式远程Shell的文章概述: - 目标:解决嵌入式软件测试中的远程调试难题,提供轻量级解决方案。 - 功能:包括远程交互、命令执行与反馈,强调多客户端并发连接和稳定性。 - 设计:基于Socket服务端架构,使用I/O多路复用和popen函数,确保命令执行与结果反馈。 - 需求:支持命令解析、执行和结果回传,考虑网络不稳定情况下的连接保持。 - 安全性:仅限内部调试,未详细讨论加密等安全措施。 - 实现:关注点在Socket服务端程序,包括监听、数据过滤和命令处理。 - 测试:通过 Telnet 和Windows网络助手验证连接和命令执行功能。
343 70
|
2月前
|
缓存 分布式计算 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(一)
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(一)
63 0
|
2月前
|
分布式计算 算法 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(二)
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(二)
64 0
|
2月前
|
SQL Shell 数据库
在TDengine容器中创建初始化数据库的Shell命令实例
以上就是在Docker容器环境中部署并初始化TDengine数据库的全过程,希望对你有所帮助。
95 0
|
7月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56611 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
6月前
|
Unix Shell Perl
技术心得:实例解析shell子进程(subshell)
技术心得:实例解析shell子进程(subshell)