[Spark]如何设置使得spark程序不输出 INFO级别的内容

简介:

Spark程序在运行的时候,总是输出很多INFO级别内容

查看了网上的一些文章,进行了试验。

发现在 /etc/spark/conf 目录下,有一个 log4j.properties.template

$cp log4j.properties.template log4j.properties

然后,修改下面的这一个行:
log4j.rootCategory=INFO, console

改成:
log4j.rootCategory=ERROR, console

再次运行时,不再出现大量的INFO 信息了。






本文转自健哥的数据花园博客园博客,原文链接:http://www.cnblogs.com/gaojian/p/7749467.html,如需转载请自行联系原作者

目录
相关文章
|
分布式计算 Java Scala
181 Spark IDEA中编写WordCount程序
181 Spark IDEA中编写WordCount程序
59 0
|
分布式计算 算法 Shell
180 Spark程序执行
180 Spark程序执行
45 0
|
6月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
149 0
|
分布式计算 Hadoop Spark
【Spark】【设置】关闭INFO提示
【Spark】【设置】关闭INFO提示
332 0
【Spark】【设置】关闭INFO提示
|
2月前
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
36 5
|
22天前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
28 0
|
6月前
|
分布式计算 监控 Java
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
86 0
|
6月前
|
分布式计算 大数据 Java
大数据必知必会系列——面试官问能不能手写一个spark程序?[新星计划]
大数据必知必会系列——面试官问能不能手写一个spark程序?[新星计划]
73 0
|
6月前
|
分布式计算 Java 测试技术
Spark 单元测试报Error:(26, 16) java: 程序包sun.misc不存在
Spark 单元测试报Error:(26, 16) java: 程序包sun.misc不存在
104 0
|
6月前
|
分布式计算 资源调度 监控
Spark应用程序的结构与驱动程序
Spark应用程序的结构与驱动程序