开发者社区> 问答> 正文

MaxCompute Spark中.jar包打包时需要注意的问题是什么呢?

MaxCompute Spark中.jar包打包时需要注意的问题是什么呢?

展开
收起
bnbajjyhyjfty 2021-12-12 17:01:29 741 0
1 条回答
写回答
取消 提交回答
  • 依赖为provided和compile的区别:

    provided:代码依赖该jar包,但是只在编译的时候需要用,而运行时不需要,运行时会去集群中去 寻找的相应的jar包

    。compile:代码依赖该jar包,在编译、运行时候都需要,在集群中不存在这些jar包,需要用户打到 自己的jar包中。这种类型的jar包一般是一些三方库,且与spark运行无关,与用户代码逻辑有关

    o用户提交的iar包必须是Fatiar: 。必须要把compile类型的依赖都打到用户iar包中,保证代码运行时能加载到这些依赖的类

    2021-12-12 17:02:45
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载