在AWS EMR中运行spark时，请使用自定义Log4J appender

我正在尝试在AWS EMR中执行spark submit来执行一个使用我编写的自定义log4j appender的简单项目。
我可以通过在群集软件设置中提供以下配置来传递我的log4j属性：

[{

"classification": "spark-log4j",
"properties": {
    "log4j.appender.S": "CustomLog4JAppender",
    "log4j.rootLogger": "DEBUG,S"
}

}
]

但是当我运行集群步骤时，我得到：
log4j：ERROR无法实例化类[CustomLog4JAppender]。java.lang.ClassNotFoundException：
集群stderr中的CustomLog4JAppender。

我正在执行的jar位于S3中，它包含Main类，我的appender类和所有依赖项。

我正在使用：command-runner.jar执行集群
并执行以下命令：
spark-submit --deploy-mode client --class Main s3：// {path_to_jar} .jar

这里有几个问题：

集群中的哪个组件加载log4j记录器和属性？它是否发生在主节点中？在核心节点？
我该怎么做才能解决这个问题？我该如何以不同的方式执行它？如何让它识别我的自定义appender类？