DataWorks配置数据集成时,需要配置什么参数?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
进行数据集成时,您需要添加数据源后再配置数据源的来源与去向,并在配置过程中设置好集成的数据及数据类型等信息,整个数据集成包含数据提取(使用reader插件提取数据来源的数据)和数据写入(使用writer插件将集成的数据写入数据去向的数据源中)。以下为您介绍使用Writer插件写入RestAPI类型数据源的数据时,需要配置的参数。说明 以下的参数包含在添加数据源和配置数据集成任务节点的过程中。当前插件暂不支持使用调度参数。参数 描述 是否必须 默认值 url RESTful接口地址。 是 无 dataMode RESTful请求传递的JSON数据的格式。 是 无 column 生成JSON数据对应的字段路径列表,type指定源数据的类型,name指定当前column数据放置的JSON路径。您可以指定column字段信息,配置如下。 "column":[{"type":"long","name":"a.b" //放置column数据到路径a.b},{"type":"string","name":"a.c"//放置column数据到路径a.c}] 是 无 dataPath 数据结果放置的JSON对象的路径。 否 无 method 请求方法,支持post和put。 是 无 customHeader 传递给RESTful接口的header信息。 否 无 authType 验证方法。 否 无 authUsername/authPassword Basic Auth验证的用户名密码。 否 无 authToken Token Auth验证的token。 否 无 accessKey/accessSecret Aliyun API签名验证的账户信息。 否 无 batchSize dataMode为multiData时,一次请求最大的数据条数。 是 512——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。