Spark - Logging 简单使用-阿里云开发者社区

Spark - Logging 简单使用

2022-08-22 355

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 使用 Spark 运行任务打日志经常遇到一个问题就是日志太多，除了自己的 print 日志之外，还有很多 Executor、client 的日志，一方面任务运行期间会占用更多的机器存储，其次也不方便查询自己的 print 日志。下面介绍下常用的日志系统与使用方法。......

一.引言

使用 Spark 运行任务打日志经常遇到一个问题就是日志太多，除了自己的 print 日志之外，还有很多 Executor、client 的日志，一方面任务运行期间会占用更多的机器存储，其次也不方便查询自己的 print 日志。下面介绍下常用的日志系统与使用方法。

二.常用日志系统

编辑

常见的日志系统是 Log4j 和 SLF4J，以 Log4j 为例，针对某个任务设置 logLevel 使用如下语法：

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

其中 Level 包含如下几种类型：

LogLevel	Level	Use
OFF	2147483647	关闭所有日志记录
FATAL	50000	如其翻译，致命的错误
ERROR	40000	错误信息提示，一般需要 Try Catch
WARN	30000	潜在错误提示
INFO	20000	正常日志信息
DEBUG	10000	细粒度日志，用于应用调试
TRACE	5000	比调试更细粒度的日志信息
ALL	-2147483648	打开所有日志记录

protected Level(int level, String levelStr, int syslogEquivalent) {
        super(level, levelStr, syslogEquivalent);
    }
    public static final Level OFF = new Level(2147483647, "OFF", 0);
    public static final Level FATAL = new Level(50000, "FATAL", 0);
    public static final Level ERROR = new Level(40000, "ERROR", 3);
    public static final Level WARN = new Level(30000, "WARN", 4);
    public static final Level INFO = new Level(20000, "INFO", 6);
    public static final Level DEBUG = new Level(10000, "DEBUG", 7);
    public static final Level TRACE = new Level(5000, "TRACE", 7);
    public static final Level ALL = new Level(-2147483648, "ALL", 7);

每一个 level 类都对应一个 level 的 int 字符，如果设置 logLevel 在 DEBUG 级别，则低于其对应 level = 10000 的 TRACE、ALL 类型的日志则不予显示，所以可以根据自己的需求设定 level 级别。Log4j 一般建议使用的类型是 ERROR、WARNING、INFO、DEBUG。

三.Spark Logging

使用 Log4j 或者 SLF4j 时需要通过 XML 或者 log4j.properties 配置相关信息，还需要引入对应的 log 依赖，经常出现 NoSuchMethod 的冲突，很不方便，spark 自 2.4+ 引入了 Logging，其基于 SLF4j 定义了一个 Trait，使得日志使用只需要继承接口即可。

编辑

trait Logging {
  // Make the log field transient so that objects with Logging can
  // be serialized and used on another machine
  @transient private var log_ : Logger = null
   ...
}

可以看到这里 Logger 用 @transient 关键字修饰保证其序列化时不会报错。

1.输出不同类型日志

import org.apache.spark.internal.Logging
object LogUtil extends Logging {
  def main(args: Array[String]): Unit = {
    logInfo("LogInfo")
    logWarning("LogWarning")
    logError("LogError")
  }
}

使用对应类继承 Logging 类，对应的函数即可输出对应 level 的日志，LogInfo 会输出日志到 Stdout 中，LogWarning，LogError 会输出日志到 Stderr 中，可以根据自己的需要控制输出日志 level。

编辑

2.设置日志 Level

除了使用 Logging 输出不同 level 类型日志外，spark 也支持设定 LogLevel。

val sc = spark.sparkContext
    sc.setLogLevel("error")

setLogLevel 函数允许我们定义 spark 相关日志的级别，该方法将覆盖任何用户定义的日志级别，通过字符串的类型配置，支持如下日志 level：

ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN 。

def setLogLevel(logLevel: String) {
    // let's allow lowercase or mixed case too
    val upperCased = logLevel.toUpperCase(Locale.ROOT)
    require(SparkContext.VALID_LOG_LEVELS.contains(upperCased),
      s"Supplied level $logLevel did not match one of:" +
        s" ${SparkContext.VALID_LOG_LEVELS.mkString(",")}")
    Utils.setLogLevel(org.apache.log4j.Level.toLevel(upperCased))
  }

四.总结

1.日志输出

Logging 仅适用于 Spark 任务日志，下述方法单独使用 log 函数不会输出任何日志。

def main(args: Array[String]): Unit = {
    logInfo("LogInfo")
    logWarning("LogWarning")
    logError("LogError")
  }

2.日志类型

Logging 使用 SLF4J，extends Logging 接口后，任务启动后会提示：

编辑

3.日志级别

Spark setLevel 方法会覆盖用户定义的其他 logLevel，所以需要注意覆盖关系。

编辑