开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中restapireader往odps写数据时,如何获取入库时间?

dataworks中restapireader往odps写数据时,如何获取入库时间?

展开
收起
cuicuicuic 2024-01-16 12:14:34 33 0
2 条回答
写回答
取消 提交回答
  • 建议用赋值节点将当前时间 (比如获取一个now())传递给下游离线同步任务,这个时间不是真正的入库时间,相对接近入库时间 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-16 13:17:24
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,使用REST API Reader往ODPS写数据时,可以通过以下步骤获取入库时间:

    1. 在REST API Reader的“请求配置”页面中,设置请求方法为POST。
    2. 在“请求URL”中输入ODPS的API地址,例如:http://odps.aliyun.com/api?project=<your_project_name>&table=<your_table_name>
    3. 在“请求头”中添加以下内容:
      • Content-Type: application/json
      • AccessKeyId:
      • AccessKeySecret:
    4. 在“请求体”中添加要写入的数据,例如:
      [
          {
              "field1": "value1",
              "field2": "value2",
              ...
          },
          ...
      ]
      
    5. 在“响应处理”页面中,选择“返回结果”。
    6. 在“返回结果”页面中,选择“JSON格式”。
    7. 在“返回结果”页面中,添加一个自定义字段,例如:insert_time
    8. 在“自定义字段”页面中,选择“从响应中提取”,并填写以下内容:
      • 表达式:$.InsertTime
      • 类型:字符串(String)
    9. 完成以上步骤后,运行REST API Reader任务。当数据成功写入ODPS时,您可以在返回结果中看到每个记录的入库时间。
    2024-01-16 13:07:04
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载