阿里云E-MapReduce如何讓 spark 任務的 dataframe可以出現在日志之內?
阿里云E-MapReduce想請問我要如何讓 spark 任務的 dataframe.show 或是 stdout 可以出現在日志之內?
因為我的 cluster 在任務執行完畢之後就會釋放，所以無法進到 cluster 去看 log。想知道要做什麼設定才能讓這些內容直接出現在日志裡面，感謝。
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门讨论
热门文章
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？
2089
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗
1144
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
618
E-MapReduce和MaxCompute的区别是什么？
2002
阿里云E-MapReduce在mac本地测试是需要怎么安装一下吗？
279
阿里云共享块存储和NAS还有OSS的区别是什么呀
7760
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？
231
Spark调优数据分布不均是什么意思？
529
Mem usage has exceed the limit of BE - com.mysql.j
1488
E-MapReduce有时候遇到 跑hive 任务 跑着 yarn 节点就掉了 如何排查问题？
125
展开全部
如何使用Kafka Connect实现同步RDS binlog数据
16107
如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
12912
阿里封神-大数据处理技术漫谈
11887
JindoFS概述：云原生的大数据计算存储分离方案
23212
助力云上开源生态 - 阿里云开源大数据平台的发展
11826
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
10610
从数砖开源 Delta Lake 说起
9688
Apache Spark 3.0 将内置支持 GPU 调度
10560
钉钉群直播【Spark Relational Cache 原理和实践】
8971
EMR Spark Relational Cache的执行计划重写
9084
展开全部
相关课程
更多
相关文章
相关电子书
更多
