0017-Spark的HistoryServer不能查看到所有历史作业分析

1.问题描述

Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。

2.问题复现

1.分别使用root和ec2-user用户执行作业

2.通过sparkHistory Server可以正常查看到所有历史作业

3.将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

作业执行完成

HDFS上正常记录了spark作业日志，但作业所属group为supergroup

sparkHistoryServer报异常，没有权限访问历史job目录

4.在History Server未查看到刚执行完成的007作业

3.问题原因

由于/user/spark/applicationHistory目录的所属组为supergroup，导致所有用户作业的目录均为supergroup组，之前能正常查看的历史作业由于目录的所属组任为spark。

4.解决方法

将/user/spark/applicationHistory目录及该目录下的子目录所属组修改为spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改后所有历史作业均可正常查看