Yarn 日志存储配置

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 我们知道,yarn上能够监控运行的spark情况,但是一个程序运行完后就会被销毁,看不到了。 所以我们需要在程序运行完也能看到日志,这是就需要配置我们的参数了 1.进入spark conf下,拷贝一个spark.

我们知道,yarn上能够监控运行的spark情况,但是一个程序运行完后就会被销毁,看不到了。

所以我们需要在程序运行完也能看到日志,这是就需要配置我们的参数了


1.进入spark conf下,拷贝一个spark.defaults.conf文件修改参数


spark.eventLog.enabled      true     //将日志持久化存储下来展示


spark.eventLog.dir     hdfs://bjcdh:8021/dir     //日志存放地址



2. 修改spark.env.sh 参数


SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bjcdh:8021/dir -DSpark.history.ui.port=7777"   //指定读取路径和端口


3.启动日志监控,进入到sbin/  运行  ./start-history-server.sh

运行之后会提示输出一个.out的日志文件,使用tail -f 命令查看日志中最后面提到的启动地址,浏览器中输入这个地址可看到运行的和未运行的。

例如地址http://hadoop001:7777


4.另外还有些参数需要我们自己设置


spark.history.fs.update.interval    10s      //每10s去刷新一次看有没有更新


spark.history.fs.cleaner.enabled    true    //自动清理器  清理日志


spark.history.fs.cleaner.interval     1d      //每隔一台清理一次


spark.history.fs.cleaner.maxAge  7d       //清理7天之前的日志


这些都是生产环境需要设置的一些参数。用来排查程序挂掉的日志信息。








相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
20天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
159 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
19天前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
46 9
|
2月前
|
资源调度
Ubuntu22.04静态ip配置+yarn build后显示内存超限,变异失败
Ubuntu22.04静态ip配置+yarn build后显示内存超限,变异失败
40 2
Ubuntu22.04静态ip配置+yarn build后显示内存超限,变异失败
|
2月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
39 4
|
2月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
158 5
|
2月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
104 4
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
81 4
|
2月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
41 1
|
2月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
28 1
|
2月前
|
网络协议 Linux Windows
Rsyslog配置不同端口收集不同设备日志
Rsyslog配置不同端口收集不同设备日志
下一篇
无影云桌面