NO MORE "SBT ASSEMBLY":RETHINKING SPARK-SUBMIT USING CUESHEET

Jong Wook Kim在2017年Spark Summit上的分享《NO MORE "SBT ASSEMBLY":RETHINKING SPARK-SUBMIT USING CUESHEET》是一个关于改进Spark作业提交流程的议题。在这次分享中，他与听众探讨了如何通过一个名为CueSheet的工具来优化和简化Spark应用的构建和部署过程，以替代传统的“sbt assembly”方法。

关于CueSheet

CueSheet是一个旨在提升开发效率和部署灵活性的工具。它可能设计用于解决在使用Scala Build Tool (SBT)进行项目打包（即执行sbt assembly命令生成fat jar）时遇到的一些问题，比如打包时间长、依赖管理复杂以及难以维护大型项目中的不同环境配置等。CueSheet可能提供了一种更高效的方式来组织和管理Spark应用的依赖、配置和资源，使得开发者能够更快地迭代和部署他们的Spark应用。

与Kakao的合作

Kakao是一家韩国的科技公司，以其即时通讯软件KakaoTalk闻名。Jong Wook Kim提及与Kakao的合作，可能意味着CueSheet是在处理Kakao大规模数据处理需求的过程中发展起来的，或者Kakao是该工具的早期采用者之一。这样的合作案例通常会展示CueSheet在实际生产环境中的应用效果，包括性能提升、运维简化等方面的实际效益。

分享内容概要

• CueSheet介绍：可能会详细解释CueSheet的设计理念、核心功能以及它是如何改善Spark应用开发和部署流程的。
• Demo演示：通过实际操作演示，向观众展示CueSheet的具体使用方法，包括如何快速设置项目、管理依赖、配置不同的运行环境以及如何加速提交Spark作业到集群的过程。
• 性能与效率提升：分享CueSheet相较于传统方法在减少打包时间、提高部署效率方面的具体数据和案例。
• 最佳实践与经验分享：基于与Kakao的合作经验，讨论在大规模数据处理场景下，如何有效利用CueSheet来优化工作流，并可能分享一些实战中的技巧和教训。

如何获取更多资料

您提供的链接指向阿里云的下载页面，但请注意，随着时间推移，链接的有效性和内容可能会发生变化。对于想深入了解该主题的用户，建议直接访问Spark Summit的官方网站或相关技术社区查找当时的会议视频回放、演讲幻灯片或搜索相关的技术文章和博客。此外，也可以关注 Jong Wook Kim 或纽约大学的研究团队是否有发布关于CueSheet的进一步资料或开源项目。