开发者社区> 问答> 正文

是否有办法在运行时获取有关SparkMetrics配置的信息

小六码奴 2019-04-24 16:16:18 359

我使用CSV sinc将metrics.properties文件添加到资源目录(maven项目)。当我在本地运行Spark应用程序时,一切都很好 - 会出现指标。但是,当我向Amazon EMR提交相同的fat jar时,我没有看到任何尝试将指标放入CSV sinc。所以我想在运行时检查SparkMetrics子系统的加载设置。如果有可能这样做?我调查SparkEnv.get.metricsSystem但没有找到任何。

分布式计算 Java Maven Spark
分享到
取消 提交回答
全部回答(1)
  • 小六码奴
    2019-07-17 23:34:11

    这基本上是因为EMR上的Spark没有metrics.properties从resources fat jar.的目录中获取自定义文件。

    对于EMR,首选的配置方法是通过EMR配置API,您需要在其中传递classification和properties嵌入JSON。

    对于spark metrics子系统,这里是修改几个指标的示例
    [

    {
      "Classification": "spark-metrics",
      "Properties": {
        "*.sink.csv.class": "org.apache.spark.metrics.sink.CsvSink",
        "*.sink.csv.period": "1"
      }
    }

    ]
    使用Amazon Console或SDK创建EMR集群时,可以使用此JSON

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题