Prabhu Kasinathan在Spark Summit 2017上做了主题为《Spark Compute as a Service @Paypal》的演讲,就spark on yarn介绍,运行遇到的挑战,构建SCaaS等进行了深入的分享。
https://yq.aliyun.com/download/585?spm=a2c4e.11154804.0.0.c1ff6a79sleuIk
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Prabhu Kasinathan在Spark Summit 2017上的演讲《Spark Compute as a Service @Paypal》深入探讨了Spark on YARN的部署与实践,分享了在PayPal构建Spark Compute as a Service (SCaaS)平台时遇到的挑战及解决方案。虽然提供的知识库资料未直接包含该演讲内容,但我们可以根据Spark on YARN的一般知识和经验,概述可能涉及的关键点和解决策略。
Spark on YARN允许Spark应用运行在Hadoop YARN集群上,实现了资源的统一管理和调度。这一模式下,Spark应用作为YARN的一个应用程序运行,能够与其他Hadoop服务共享集群资源,提高了资源利用率和灵活性。
综上所述,Prabhu Kasinathan的演讲很可能围绕这些核心议题展开,分享了PayPal如何克服技术障碍,成功建立一套可扩展、高可用且易于管理的Spark服务化平台,服务于其内部多样化的数据分析需求。
由于原始链接指向的资源无法直接引用,建议直接搜索演讲标题或访问Spark Summit官网查找相关视频或幻灯片,以获得更详尽的信息和具体案例分享。
注:以上内容基于Spark on YARN通用知识推断,实际演讲内容可能包括更多细节与特定实践。