数据服务最佳实践(1):支持注册外部API,打造企业数据服务中心【Dataphin V3.11】

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在DataphinV3.11版本中,我们支持了注册外部API的能力,用于支持客户统一管理企业所有的API,打造企业的数据服务中心。API注册到Dataphin之后,可以由Dataphin统一纳管,和其他方式创建的API共用相同的服务市场、权限管控、运维监控能力。同时我们支持了Json文本解析能力,支持编写类似正则表达式的语法定义注册API返回参数的取值路径,满足企业自定义取数的场景。

在DataphinV3.11版本中,我们支持了注册外部API的能力,用于支持客户统一管理企业所有的API,打造企业的数据服务中心。API注册到Dataphin之后,可以由Dataphin统一纳管,和其他方式创建的API共用相同的服务市场、权限管控、运维监控能力。

同时我们支持了Json文本解析能力,支持编写类似正则表达式的语法定义注册API返回参数的取值路径,满足企业自定义取数的场景。


一、场景介绍

场景1:企业一些算法服务,无法仅通过编写SQL完成开发,就需要企业开发人员通过编写代码来开发API,将开发好的API注册到dataphin平台的数据服务,实现对企业所有API的统一管理和监控。

例如:网约车行业的一些算法服务(例如获取最优线路),需要通过python语法,在指定的机器学习框架(如TensorFlow)下开发好算法模型,最后再封装成算法服务对外调用。像这种算法服务无法通过简单的SQL实现的,需要企业的开发人员完成算法模型开发并封装成算法服务后才能使用的,则可以把算法服务直接注册到dataphin平台的数据服务,由数据服务统一管理和监控算法服务的调用。


场景2:客户现有系统已有一些接口,想通过dataphin的服务运维监控功能和鉴权功能,把这些API进行管起来,在调用注册API时,向dataphin发起请求,dataphin再从原接口进行请求数据,实现对已有接口的监控。

例如:企业的一些系统有对外开放的OpenAPI,企业希望对这些OpenAPI的调用进行运维监控。那么可以将这些OpenAPI注册到数据服务,利用数据服务原有的运维监控功能实现OpenAPI的限流、告警、调用统计、调用日志查看等功能。


二、API注册能力介绍

1.1 配置API数据源

先到【管理中心】->【数据源管理】->【新建数据源】数据源的类型选择:半结构化存储->API,创建API数据源。这里仅需要配置后端服务的根路径/域名,以及鉴权信息。

1.2、注册外部API

可以在新建API的时候,选择注册API的方式创建API

配置时,需要先选择一个具体的API数据源,然后服务path配置具体的调用路径(即相对路径),系统会组合成完整的转发调用路径。

1.3 配置注册API的参数信息

请求参数:支持定义请求参数的位置和默认值。

返回参数:支持定义返回参数取值路径,通过编写类似正则表达式的语法来指定提取后端服务返回的Json文档内容,满足各种取数场景。

通过以上三步就可以将外部的API注册到Dataphin中,使用Dataphin进行统一的管理。


三、视频操作手册

通过Dataphin实现API注册的完整流程,可以参考操作视频:


四、结语

支持注册外部API后,企业可以将已开发好的API注册到数据服务平台统一管理运维,对外统一由数据服务平台提供API申请、API鉴权调用、API运维等功能,让企业可以更专注于服务的开发。

建议升级到3.11的新版本之后,用户可以结合企业的实际业务诉求和新的产品能力,将外部API注册到数据服务平台统一管理运维。

相关文章
|
1月前
|
数据采集 JSON Java
揭秘阿里巴巴:如何通过API实时捕获中国市场商品数据
阿里巴巴提供了丰富的API接口,使得第三方开发者可以实时捕获中国市场商品数据。以下是一些关键步骤和要点,帮助你揭秘如何通过阿里巴巴的API实现这一目标:
|
2月前
|
监控 数据挖掘 API
商品评价聚合:利用API从多个来源获取数据的详细指南
在当今电子商务的繁荣发展下,消费者在做出购买决策前越来越依赖商品评价。这些评价不仅反映了产品的实际使用体验,也直接影响着品牌信誉和销售业绩。为了全面了解消费者的声音并优化产品,企业需要从各种销售渠道收集和分析商品评价。本文将详细介绍如何通过API集成不同数据源的商品评价。
|
2月前
|
机器学习/深度学习 搜索推荐 API
商品信息全景图:API接口在聚合商品数据中的应用
在电子商务的世界中,API接口是连接不同服务和数据的桥梁。特别是在商品信息的聚合上,API接口扮演了至关重要的角色,它允许开发者从多个来源收集、整合并展示商品信息,从而为消费者提供全面且一致的购物体验。本文将深入探讨API接口在聚合商品数据中的应用,并通过具体的代码示例来揭示其工作原理。
|
2月前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
|
2月前
|
缓存 安全 API
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
公司对外开放的OpenAPI-Server服务,作为核心内部系统与外部系统之间的重要通讯枢纽,每天处理数百万次的API调用、亿级别的消息推送以及TB/PB级别的数据同步。经过多年流量的持续增长,该服务体系依然稳固可靠,展现出强大的负载能力。
56 9
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
|
1月前
|
JSON Java API
教你如何使用API接口获取数据
随着互联网技术的发展和应用的普及,越来越多的系统和应用提供API接口供其他系统和应用进行数据交互。通过API接口,我们可以获取到各种各样的数据,例如天气预报、股票行情、新闻摘要等等。本文将介绍如何使用API接口获取数据,并附有示例代码。
|
1月前
|
供应链 搜索推荐 BI
深入了解淘宝原数据:获取API接口及其使用场景
在当今数字化的时代,对于电商行业来说,数据具有极大的价值。淘宝作为中国最大的综合电商平台,拥有庞大的商品信息和用户数据。对于开发者和企业来说,淘宝原数据的获取和分析是实现个性化服务和精准营销的基础。本文将介绍如何通过API接口获取淘宝原数据,以及数据的使用场景。
|
1月前
|
缓存 前端开发 API
构建高效可扩展的RESTful API:后端开发的最佳实践
【2月更文挑战第30天】 在现代Web应用和服务端架构中,RESTful API已成为连接前端与后端、实现服务间通信的重要接口。本文将探讨构建一个高效且可扩展的RESTful API的关键步骤和最佳实践,包括设计原则、性能优化、安全性考虑以及错误处理机制。通过这些实践,开发者可以确保API的健壮性、易用性和未来的可维护性。
|
1月前
|
API 开发者 UED
深入探讨RESTful API设计原则及最佳实践
在当今互联网时代,RESTful API已成为各种软件系统之间进行通信的重要方式。本文将从资源定义、URI设计、HTTP方法选择、状态码规范等方面深入探讨RESTful API设计的原则与最佳实践,帮助开发者更好地构建高效、健壮的API。
|
1月前
|
数据采集 API 开发者
调用API接口获取小红书笔记详情数据(小红书怎么推广)
小红书平台对于其API的使用有严格的规定和限制,并且并非所有的功能和数据都通过公开API提供。关于获取小红书笔记详情的API,以下是一些建议和指导:

相关产品

  • 智能数据建设与治理 Dataphin