【Spark Summit East 2017】不再有“Sbt Assembly”了:使用CueSheet反思Spark Summit-阿里云开发者社区

开发者社区> 大数据> 正文

【Spark Summit East 2017】不再有“Sbt Assembly”了:使用CueSheet反思Spark Summit

简介: 本讲义出自Jong Wook Kim在Spark Summit East 2017上的演讲,主要介绍了CueSheet,一个围绕着Spark构建的开源框架,能够对于Spark应用程序的开发进行加速。CueSheet无需打开终端就可以对于Spark应用进行打包、提交和部署,并且可以帮助开发者方便地进行编程和调试。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Jong Wook Kim在Spark Summit East 2017上的演讲,主要介绍了CueSheet,一个围绕着Spark构建的开源框架,能够对于Spark应用程序的开发进行加速。


在Spark应用的开发中至关重要,但是并不是很有趣的一部分就是对应用进行打包,尽管有很多像Zeppelin 以及Databricks这样的笔记本式的交互环境,但是对于存在很多严重依赖的正式项目而言,经常存在将Spark项目作为单独的Scala版控制树进行管理。为了应对这些,官方文档告诉我们使用SBT或Maven插件组装的胖jar包并且运行spark-submit脚本,但是这将明显减慢开发周期。CueSheet无需打开终端就可以对于Spark应用进行打包、提交和部署,并且可以帮助开发者方便地进行编程和调试。


76e4d564e997796c316fb8397927872565859587

39af5d6b50e1e6d4f82f66c083c8b3c6b75825d3

427242de2e3e0c94afafcc8b5cce34ed404dcf3e

33a051fa0314367d7a15e884c9c1a7bd3fa71d6e

fded069e705b47523f9d45d72c785cfb092937c9

f13fcf7eb497e17d39ffd20bfe323b21725086cf

789c095ebd38c8ba7d9863dc550e3dee13b1f320

a7325a284d7d049d009c4e3b4a2a394d6bb557b2

4237e27b4cefcfac48a1b9fb2cd5daa2ae58379e

a195784da34021c8aa6b8b682490907729f15ea1

fcb18ca29c7ece94f0f8135903dd20e6316cba7c

614033635475736094cc78e3f944c7a0a329fc14

1acb43e9f29666b6f026d89ee47a85fb03c714af

83f96f8c3a636fff36511070f1a52bd241d0b612

dd21538aa72f94ffe115a7d34b4561d2cf01f3b4

02ed7ef45670fd82c3c4b5b791df2bfc3c153af7

4730b2d0bc660c5d486321be8e26ea454e80d6dd

7a8ebc1b6eb8a14a72d6e52a8adc7e523d3c5821

3a9adb4f3becf7e70c26ecb2cfc186ef0d9f2833

ae43fcbc4d593a1f267820e8ecf0ded93a8a2273

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章