容器服务ASK我这边准备把spark 跑在k8s，但是没看到好的文档。有这方面的资料吗？
容器服务ASK我这边准备把spark 跑在k8s，但是没看到好的文档。大佬有这方面的资料吗？
写回答
-
2023-11-12 17:24:41赞同 展开评论 打赏 -
阿里云容器服务Kubernetes版（简称ACK）提供了Spark任务的运行环境
Zeppelin支持Spark的4种主流语言，包括Scala、PySpark、R和SQL。Zeppelin中所有语言在同一个Spark Application里，即共享一个SparkContext和SparkSession。例如，您在Scala里注册的table和UDF是可以被其他语言使用的。https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/spark-1?spm=a2c4g.11186623.0.i123#section-u91-f49-8y0配置Spark
在阿里云EMR的数据开发里，Spark解释器配置的是Isolated Per Note模式，也就是说每个Note都有一个独立的Spark Application（每个Note对应一个Yarn App，Zeppelin里使用的是Yarn-Cluster模式）。对于每一个Spark Application，您可以在%spark.conf里配置所有Spark相关的配置选项，具体配置选项，请参见Spark Configuration。代码示例如下：
2023-11-12 11:17:32赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
