是否有办法在运行时获取有关SparkMetrics配置的信息
我使用CSV sinc将metrics.properties文件添加到资源目录（maven项目）。当我在本地运行Spark应用程序时，一切都很好 - 会出现指标。但是，当我向Amazon EMR提交相同的fat jar时，我没有看到任何尝试将指标放入CSV sinc。所以我想在运行时检查SparkMetrics子系统的加载设置。如果有可能这样做？我调查SparkEnv.get.metricsSystem但没有找到任何。
展开
收起
1
条回答
写回答
写回答
-
这基本上是因为EMR上的Spark没有metrics.properties从resources fat jar.的目录中获取自定义文件。
对于EMR，首选的配置方法是通过EMR配置API，您需要在其中传递classification和properties嵌入JSON。
对于spark metrics子系统，这里是修改几个指标的示例
[{ "Classification": "spark-metrics", "Properties": { "*.sink.csv.class": "org.apache.spark.metrics.sink.CsvSink", "*.sink.csv.period": "1" } }]
使用Amazon Console或SDK创建EMR集群时，可以使用此JSON2019-07-17 23:34:11赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
