Spark on Kubernetes原生支持浅析
概述
Kubernetes自推出以来，以其完善的集群配额、均衡、故障恢复能力，成为开源容器管理平台中的佼佼者。从设计思路上，Spark以开放Cluster Manager为理念，Kubernetes则以多语言、容器调度为卖点，二者的结合是顺理成章的。
IOT/智能设备日志解决方案（3）：上下游对接
当数据从遍布全球的设备端以及服务端采集上来后，最先会到达数据队列。队列承载所有数据的入口和出口，必须具备的两大能力是：
* 丰富的上下游对接能力：数据要能从各种方式接入上来，也能够非常容易的对接各个系统。
Yarn 日志存储配置
我们知道，yarn上能够监控运行的spark情况，但是一个程序运行完后就会被销毁，看不到了。
所以我们需要在程序运行完也能看到日志，这是就需要配置我们的参数了
1.进入spark conf下，拷贝一个spark.