开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute里如果我换成spark代码。昨天的功能可以实现吗?

请教一下,如果我换成spark代码。昨天的功能可以实现吗?后面用JDBC太慢了,最后还是执行错误,显示的也是网络错误,如果是直接写spark代码直接写进目标表,这种以前有小伙伴试验过能行不,是不是只有包年包月的才可以,后付费模式是不行的是吗,这个需要dataworks的版本是包年包月的是吧3e25d3b05de7d389ac0d5508f24be4b7.png这个命令是在哪里执行的呢,我看如果是自己的就是直接在服务器运行,咋们这是在哪里运行呢?还有就是这个能不能和数据开发sql 一样定时调度呢

展开
收起
饭也太好吃了 2023-06-09 14:54:44 81 0
1 条回答
写回答
取消 提交回答
  • "不支持spark udf吧,只有java udf和python udf。 https://help.aliyun.com/document_detail/27866.html?spm=a2c4g.34524.0.i1,可以,你瞅瞅这个读写示例 https://help.aliyun.com/document_detail/149317.html?spm=a2c4g.148914.0.0.a83779b5BIK5dP#section-b78-fvv-f0t,不是,spark任务本地客户端提交也行,DataWorks上提交也行,和版本没有关系30ccd375bdb7865ed93c388ab84ae405.png这个是开发者版,按量付费开发者版目前已经没有了,我看看改一下这个文档。1. spark运行方式,在这里看一下 https://help.aliyun.com/document_detail/102430.html?spm=a2c4g.102357.0.0.194d5b784FGirj 2. 如果需要定时调度的话,需要在DataWorks的spark节点里运行任务,平常的按量付费是可以的,此回答整理自钉群“MaxCompute开发者社区2群(答疑@机器人)”"

    2023-06-09 15:41:59
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载