API数据源与集成优化【Dataphin V3.9】

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在DataphinV3.9版本中,对于API数据源的认证方式配置与URL相对路径配置等场景进行了功能优化,并且新增支持了通过离线集成管道中的API输出组件向API数据源写入数据的功能。

一、场景介绍

场景1:开发和生产环境的API数据源使用不同的API Key或Token。创建API数据源时,其中有一个场景是生产与开发环境的API数据源的API Key或Token不同,此时在管道输入组件中通过将其添加为参数的方式无法满足该场景下的需求。故需要支持在创建数据源时就进行配置可区分生产或开发环境的API Key或Token。

场景2:创建一个API数据源,配置绝对路径URL,在集成组件中指定相对路径的 URL。在使用到API的常见场景中,在一个相同的绝对路径URL下,不同业务属性的数据会存在多个相对路径不同的URL上,如www.mysite.com/customer、www.mysite.com/order和www.mysite.com/stock等, 且这些数据都需要进行数据集成,此时如需要为每一个URL地址配置一个数据源,就会徒增许多冗余配置操作。如果能在集成组件中配置相对路径,就会提高任务配置的效率。

二、功能升级与优化

1. API数据源认证方式优化

在创建API数据源时,认证方式新增了API Key和Bearer Token,生产和开发数据源可以自由配置不同的认证方式,或者是Key或Token。选择API Key认证方式后,可以选择添加至Parameters、Headers或是Body,可满足不同API数据源认证方式的需求。

2.  API集成组件支持配置url相对路径

在API数据源的URL地址配置项中,我们可以仅填写绝对路径,如www.mysite.com。在API集成组件中,有url路径配置项,可填写相对路径,如/custom,该配置项内容将会被拼接在数据源的url地址后,如在这里就会自动拼接成www.mysite.com/custom作为完整的API访问地址。该优化省去了配置多个API数据源的工作量。

3.  新增支持API输出组件

本次升级新增支持了API数据源输出组件,支持将Dataphin或者其他数据源中的数据通过离线集成管道的方式写入到API数据源中。

  1. 支持Post和Put请求方式:Put被定义为幂等的方法, Post不是幂等的方法。幂等意为每次执行都是同样的效果。Put请求方式,用于向指定的url传送更新资源,是幂等的,例如修改密码,每次提交都只是更新该用户密码,每次请求都只是覆盖原型的值,此时用Put;Post请求方式,可以更新或者创建资源,是非幂等的。例如用户注册时,每次提交都是创建一个用户账号,此时用Post。
  2. 支持选择请求传递的JSON数据的格式:选择单条数据则一次请求只传递一条数据,有几条数据就进行几次请求;选择多条数据则一次请求以数组形式传递一批数据,每次传递的数据量为批量条数的值。
  3. 支持配置url相对路径:该配置项内容将会被拼接在数据源的url地址后作为完整的地址。
  4. 支持配置写入JSON的路径:可选填,写入字段的最外层路径,将被拼接在输出字段名前作为完整路径写入。
  5. 支持配置输出字段:新建字段的名称表示写入的字段名。例如字段为 a.b,表示方式对应的输入字段到路径a.b。类型表示写入的数据类型。

三、结语

API数据源与离线集成任务涉及的业务场景复杂多变,本次的优化点旨在通过产品设计解决用户在API数据源集成场景下有关认证方式、路径配置等问题,以提高用户任务配置的便捷度与效率。

相关文章
|
1月前
|
自然语言处理 数据可视化 API
淘宝商品评论 API 接口:深度解析用户评论,优化产品与服务
淘宝是领先的中国电商平台,其API为开发者提供商品信息、交易记录及用户评价等数据访问服务。对于获授权的开发者和商家,可通过申请API权限、获取并解析评论数据来进行情感分析和统计,进而优化产品设计、提升服务质量、增强用户互动及调整营销策略。未授权用户可能受限于数据访问。
|
2月前
|
数据采集 XML JavaScript
如何优化 Selenium 和 BeautifulSoup 的集成以提高数据抓取的效率?
如何优化 Selenium 和 BeautifulSoup 的集成以提高数据抓取的效率?
|
1月前
|
缓存 前端开发 JavaScript
微前端集成优化:让所有子应用体积更小,加载更快!
【8月更文挑战第17天】微前端集成优化:让所有子应用体积更小,加载更快!
42 1
微前端集成优化:让所有子应用体积更小,加载更快!
|
2天前
|
SQL 分布式计算 BI
Dataphin中集成SelectDB以支持报表分析和API查询
本文介绍了一家零售企业如何利用SelectDB进行BI分析及数据服务API的查询。通过Dataphin的数据集成、SQL研发等功能,将CRM、ERP等系统数据汇聚加工,并推送至SelectDB构建销售数据集市层,以支持报表分析及API查询。SelectDB具备实时、统一、弹性及开放特性,适用于多种实时分析场景。文章详细描述了在Dataphin中集成SelectDB的整体方案、数据源配置、数据集成、数据开发及数据服务流程。
|
1月前
|
搜索推荐
实现CRM与ERP系统无缝集成,优化客户关系管理
在当今竞争激烈的市场环境中,企业要想保持领先地位,必须高效地管理客户关系并优化内部资源。CRM(客户关系管理)系统与ERP(企业资源规划)系统的无缝集成,为企业提供了一种强大的工具,以实现这一目标
52 2
|
1月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
110 1
|
1月前
|
测试技术 编译器 Go
依赖注入与控制反转:优化Go语言REST API客户端
依赖注入与控制反转:优化Go语言REST API客户端
|
28天前
|
API UED 开发者
如何在Uno Platform中轻松实现流畅动画效果——从基础到优化,全方位打造用户友好的动态交互体验!
【8月更文挑战第31天】在开发跨平台应用时,确保用户界面流畅且具吸引力至关重要。Uno Platform 作为多端统一的开发框架,不仅支持跨系统应用开发,还能通过优化实现流畅动画,增强用户体验。本文探讨了Uno Platform中实现流畅动画的多个方面,包括动画基础、性能优化、实践技巧及问题排查,帮助开发者掌握具体优化策略,提升应用质量与用户满意度。通过合理利用故事板、减少布局复杂性、使用硬件加速等技术,结合异步方法与预设缓存技巧,开发者能够创建美观且流畅的动画效果。
52 0
|
2月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
186 6
|
2月前
|
Java 关系型数据库 MySQL
如何实现Springboot+camunda+mysql的集成
【7月更文挑战第2天】集成Spring Boot、Camunda和MySQL的简要步骤: 1. 初始化Spring Boot项目,添加Camunda和MySQL驱动依赖。 2. 配置`application.properties`,包括数据库URL、用户名和密码。 3. 设置Camunda引擎属性,指定数据源。 4. 引入流程定义文件(如`.bpmn`)。 5. 创建服务处理流程操作,创建控制器接收请求。 6. Camunda自动在数据库创建表结构。 7. 启动应用,测试流程启动,如通过服务和控制器开始流程实例。 示例代码包括服务类启动流程实例及控制器接口。实际集成需按业务需求调整。
208 4

相关产品

  • 智能数据建设与治理 Dataphin