开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute Reader脚本开发介绍?

MaxCompute Reader脚本开发介绍?

展开
收起
滴滴滴~ 2023-03-21 16:44:06 208 0
3 条回答
写回答
取消 提交回答
  • 问:MaxCompute Reader脚本开发介绍 答:配置一个从MaxCompute抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置任务。注意 实际运行时,请删除下述代码中的注释。{"type":"job","version":"2.0","steps":[{"stepType":"odps",//插件名。"parameter":{"partition":[],//读取数据所在的分区。"isCompress":false,//是否压缩。"datasource":"",//数据源。"column":[//源头表的列信息。"id"],"emptyAsNull":true,"table":""//表名。},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"//错误记录数。},"speed":{"throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"concurrent":1, //作业并发数。"mbps":"12"//限流}},"order":{"hops":[{"from":"Reader","to":"Writer"}]}}如果您需要指定MaxCompute的Tunnel Endpoint,可以通过脚本模式手动配置数据源。将上述示例中的"datasource":"",替换为数据源的具体参数,示例如下。 "accessId":"","accessKey":"","endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com","project":"*", https://help.aliyun.com/document_detail/137465.html 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-22 10:01:42
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    配置一个从MaxCompute抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置离线同步任务

    2023-03-21 20:50:31
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    脚本开发介绍 https://help.aliyun.com/document_detail/137465.html#section-4no-pei-gtl

    2023-03-21 17:24:57
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载