DataWorks如何配置一个从maxcompute抽取数据到本地的作业?
配置一个从MaxCompute抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置任务。注意 实际运行时,请删除下述代码中的注释。{"type":"job","version":"2.0","steps":[{"stepType":"odps",//插件名。"parameter":{"partition":[],//读取数据所在的分区。"isCompress":false,//是否压缩。"datasource":"",//数据源。"column":[//源头表的列信息。"id"],"emptyAsNull":true,"table":""//表名。},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"//错误记录数。},"speed":{"throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"concurrent":1, //作业并发数。"mbps":"12"//限流}},"order":{"hops":[{"from":"Reader","to":"Writer"}]}}如果您需要指定MaxCompute的Tunnel Endpoint,可以通过脚本模式手动配置数据源。将上述示例中的"datasource":"",替换为数据源的具体参数,示例如下。
"accessId":"","accessKey":"","endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com","project":"*",
https://help.aliyun.com/document_detail/137465.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。