API数据源与集成优化【Dataphin V3.9】

简介: 在DataphinV3.9版本中,对于API数据源的认证方式配置与URL相对路径配置等场景进行了功能优化,并且新增支持了通过离线集成管道中的API输出组件向API数据源写入数据的功能。

一、场景介绍

场景1:开发和生产环境的API数据源使用不同的API Key或Token。创建API数据源时,其中有一个场景是生产与开发环境的API数据源的API Key或Token不同,此时在管道输入组件中通过将其添加为参数的方式无法满足该场景下的需求。故需要支持在创建数据源时就进行配置可区分生产或开发环境的API Key或Token。

场景2:创建一个API数据源,配置绝对路径URL,在集成组件中指定相对路径的 URL。在使用到API的常见场景中,在一个相同的绝对路径URL下,不同业务属性的数据会存在多个相对路径不同的URL上,如www.mysite.com/customer、www.mysite.com/order和www.mysite.com/stock等, 且这些数据都需要进行数据集成,此时如需要为每一个URL地址配置一个数据源,就会徒增许多冗余配置操作。如果能在集成组件中配置相对路径,就会提高任务配置的效率。

二、功能升级与优化

1. API数据源认证方式优化

在创建API数据源时,认证方式新增了API Key和Bearer Token,生产和开发数据源可以自由配置不同的认证方式,或者是Key或Token。选择API Key认证方式后,可以选择添加至Parameters、Headers或是Body,可满足不同API数据源认证方式的需求。

2.  API集成组件支持配置url相对路径

在API数据源的URL地址配置项中,我们可以仅填写绝对路径,如www.mysite.com。在API集成组件中,有url路径配置项,可填写相对路径,如/custom,该配置项内容将会被拼接在数据源的url地址后,如在这里就会自动拼接成www.mysite.com/custom作为完整的API访问地址。该优化省去了配置多个API数据源的工作量。

3.  新增支持API输出组件

本次升级新增支持了API数据源输出组件,支持将Dataphin或者其他数据源中的数据通过离线集成管道的方式写入到API数据源中。

  1. 支持Post和Put请求方式:Put被定义为幂等的方法, Post不是幂等的方法。幂等意为每次执行都是同样的效果。Put请求方式,用于向指定的url传送更新资源,是幂等的,例如修改密码,每次提交都只是更新该用户密码,每次请求都只是覆盖原型的值,此时用Put;Post请求方式,可以更新或者创建资源,是非幂等的。例如用户注册时,每次提交都是创建一个用户账号,此时用Post。
  2. 支持选择请求传递的JSON数据的格式:选择单条数据则一次请求只传递一条数据,有几条数据就进行几次请求;选择多条数据则一次请求以数组形式传递一批数据,每次传递的数据量为批量条数的值。
  3. 支持配置url相对路径:该配置项内容将会被拼接在数据源的url地址后作为完整的地址。
  4. 支持配置写入JSON的路径:可选填,写入字段的最外层路径,将被拼接在输出字段名前作为完整路径写入。
  5. 支持配置输出字段:新建字段的名称表示写入的字段名。例如字段为 a.b,表示方式对应的输入字段到路径a.b。类型表示写入的数据类型。

三、结语

API数据源与离线集成任务涉及的业务场景复杂多变,本次的优化点旨在通过产品设计解决用户在API数据源集成场景下有关认证方式、路径配置等问题,以提高用户任务配置的便捷度与效率。

相关文章
|
安全 API 数据安全/隐私保护
低代码革命:API无代码集成如何让企业“3天上线一个生态”?
在数字化转型浪潮中,API成为释放数据价值、提升企业效率的核心。本文详解API架构设计、安全实践与跨平台集成,为CTO提供效率提升指南,涵盖微服务、安全认证、协议选择、低代码集成及未来趋势,助力企业构建敏捷、安全、高效的数字生态。
|
消息中间件 安全 数据可视化
降本增效新引擎:API集成如何让电商订单履约快人一步?
本文详解电商系统如何通过API与支付、物流、CRM三大第三方服务高效集成,涵盖技术实现、应用场景与商业价值,助力企业构建数字化竞争力。
|
监控 前端开发 安全
如何集成第三方支付API到电商网站
在电商网站中,集成第三方支付API是确保交易安全、提升用户体验的关键步骤。本文详细介绍了从选择支付提供商到上线监控的全流程,涵盖代码示例与实用建议,助您高效实现支付功能。
|
监控 测试技术 API
电商API常见错误排查指南:避免集成陷阱
API集成是电商开发的核心,但常因认证、数据、限流等问题引发错误,影响项目进度与用户体验。本文详解常见错误类型、排查步骤与预防策略,结合Python示例指导开发者高效应对。通过日志分析、数据校验、速率监控等手段,帮助您系统化规避集成陷阱,提升开发效率与系统稳定性。
|
SQL 运维 关系型数据库
【产品升级】Dataphin V5.0版本发布:助力出海业务、增全量一体集成、异步调用API等更多功能等你发现
Dataphin是瓴羊推出的智能数据建设与治理平台,基于阿里巴巴内部实践,提供一站式数据建设与治理能力。V5.0版本研发新增支持Databricks作为离线计算引擎、支持MySQL数据库一键增全量同步、支持管理Hudi、Delta Lake表等;资产运营与消费持续提效,支持批量编辑目录名称及描述、Quick BI仪表板的上架管理等功能,增加资产可用性与盘点效率。
545 8
|
供应链 小程序 API
微信小程序API集成京东库存,移动端销量暴涨!
在数字化时代,微信小程序与京东库存系统集成成为提升移动端销量的关键策略。本文详解如何通过API实现库存实时同步、优化用户体验,推动销量增长50%以上,并结合实际案例与代码示例,为企业提供可落地的解决方案。
|
JSON 监控 供应链
京东API集成订单系统,处理速度提升50%!
在电商竞争激烈的今天,高效订单处理至关重要。本文详解如何通过京东API集成,将订单处理速度提升50%,助力商家优化系统性能、提升客户满意度。
Dataphin功能Tips系列(64)-API资产编目及上架
在企业数据部门中,因API命名不规范、分类不清、信息不全等问题,导致业务开发人员查找困难、重复咨询、误用接口等,影响效率。Dataphin提供API资产编目与上架功能,通过目录规划、属性管理、手动/自动上架等方式,实现API的系统化管理与精准检索,提升业务响应效率。
324 0
|
11月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
621 7

相关产品

  • 智能数据建设与治理 Dataphin