DataWorks中RestAPI数据源 这有文档链接吗？

在DataWorks中，关于RestAPI数据源的文档链接并未直接提供在您给出的知识库资料中。然而，根据知识库中的内容，我们可以为您提供详细的配置指南和相关信息，帮助您快速了解和使用RestAPI数据源。

以下是关于DataWorks中RestAPI数据源的关键信息和配置指南：

1. RestAPI数据源概述

RestAPI数据源是DataWorks数据集成中的一种特殊数据源类型，支持通过HTTP REST API形式读取和写入数据。它适用于以下场景： - 数据源仅能通过HTTP REST API对外提供或接收数据。 - 需要离线形式读取和写入数据。

重要限制： - 仅支持独享数据集成资源组。 - 不支持设置超时参数，内置请求超时时间为60秒，超出将导致任务失败。

2. 支持的字段类型

RestAPI数据源支持以下字段类型： - 整数类：LONG、INT - 字符串类：STRING - 浮点类：DOUBLE、FLOAT - 布尔类：BOOLEAN - 日期时间类：DATE

3. 创建RestAPI数据源

在DataWorks中创建RestAPI数据源时，需完成以下步骤： 1. 登录DataWorks控制台。 2. 在数据集成模块中，选择“创建数据源”。 3. 配置数据源的基本信息，包括URL、认证方式等。

连接串模式配置示例

{
    "envType": "Prod",
    "url": "http://127.0.0.1/get",
    "securityProtocol": "basic",
    "username": "xxx",
    "password": "xxx"
}

说明： - envType：表示数据源环境信息，支持Dev（开发环境）和Prod（生产环境）。 - securityProtocol：支持无认证（authTypeNone）、Basic Auth（basic）、Token Auth（token）等多种认证方式。

4. 数据同步任务开发

RestAPI数据源支持通过向导模式或脚本模式配置离线同步任务。

脚本模式配置示例

以下是一个典型的RestAPI Reader脚本配置示例：

{
 "type":"job",
 "version":"2.0",
 "steps":[
 {
 "stepType":"restapi",
 "parameter":{
 "url":"http://127.0.0.1:5000/get_array5",
 "dataMode":"oneData",
 "responseType":"json",
 "column":[
 {
 "type":"long",
 "name":"a.b"
 },
 {
 "type":"string",
 "name":"a.c"
 }
 ],
 "dirtyData":"null",
 "method":"get",
 "defaultHeader":{
 "X-Custom-Header":"test header"
 },
 "customHeader":{
 "X-Custom-Header2":"test header2"
 },
 "parameters":"abc=1&def=1"
 },
 "name":"restapireader",
 "category":"reader"
 },
 {
 "stepType":"stream",
 "parameter":{},
 "name":"Writer",
 "category":"writer"
 }
 ],
 "setting":{
 "errorLimit":{
 "record":""
 },
 "speed":{
 "throttle":true,
 "concurrent":1,
 "mbps":"12"
 }
 },
 "order":{
 "hops":[
 {
 "from":"Reader",
 "to":"Writer"
 }
 ]
 }
}

关键参数说明： - url：RESTful接口的请求地址。 - dataMode：数据模式，支持oneData（单条数据）和multiData（多条数据）。 - responseType：返回值类型，目前仅支持json。 - column：读取字段列表，需指定字段类型和JSON路径。 - method：请求方法，支持GET和POST。

5. 常见问题及解决方案

Q1：如何处理非数组类型的数据？

在reader的parameter中，设置dataPath指向非数组类型数据的路径，并将dataMode设置为multiData。例如：

"parameter": {
 "dataPath": "data.list",
 "dataMode": "multiData"
}

注意：在multiData模式下，column配置不再适用，需直接在dataPath中指定数据路径。

Q2：如何处理分页请求？

可以通过设置requestTimes为multiple，并指定循环参数（如pageNumber）来实现分页请求。例如：

"requestTimes": "multiple",
"requestParam": "pageNumber",
"startIndex": 1,
"endIndex": 10,
"step": 1

6. 实践案例

案例1：读取时间范围内的数据

• 接口请求示例：

  http://TestAPIAddress:Port/rest/test2?startTime=<StartTime>&endTime=<EndTime>
  

• 返回结果示例：

  {
    "status": "success",
    "totalNum": 187,
    "data": [
        { "axis": "series1", "value": 9191352, "createTime": "2023-01-04 00:07:20" },
        ...
    ]
  }
  

案例2：读取分页的RestAPI接口

• 接口请求示例：

  http://TestAPIAddress:Port/rest/test1?pageSize=5&pageNum=1
  

• 返回结果示例：

  {
    "status": "success",
    "totalNum": 304,
    "data": [
        { "id": 6, "name": "测试用户6" },
        ...
    ]
  }
  

总结

虽然知识库中未提供具体的文档链接，但以上内容已涵盖了DataWorks中RestAPI数据源的核心配置和使用方法。如果您需要进一步的官方文档，请访问阿里云DataWorks的官方帮助中心进行查询。