数据服务最佳实践(1):支持注册外部API,打造企业数据服务中心【Dataphin V3.11】

简介: 在DataphinV3.11版本中,我们支持了注册外部API的能力,用于支持客户统一管理企业所有的API,打造企业的数据服务中心。API注册到Dataphin之后,可以由Dataphin统一纳管,和其他方式创建的API共用相同的服务市场、权限管控、运维监控能力。同时我们支持了Json文本解析能力,支持编写类似正则表达式的语法定义注册API返回参数的取值路径,满足企业自定义取数的场景。

在DataphinV3.11版本中,我们支持了注册外部API的能力,用于支持客户统一管理企业所有的API,打造企业的数据服务中心。API注册到Dataphin之后,可以由Dataphin统一纳管,和其他方式创建的API共用相同的服务市场、权限管控、运维监控能力。

同时我们支持了Json文本解析能力,支持编写类似正则表达式的语法定义注册API返回参数的取值路径,满足企业自定义取数的场景。


一、场景介绍

场景1:企业一些算法服务,无法仅通过编写SQL完成开发,就需要企业开发人员通过编写代码来开发API,将开发好的API注册到dataphin平台的数据服务,实现对企业所有API的统一管理和监控。

例如:网约车行业的一些算法服务(例如获取最优线路),需要通过python语法,在指定的机器学习框架(如TensorFlow)下开发好算法模型,最后再封装成算法服务对外调用。像这种算法服务无法通过简单的SQL实现的,需要企业的开发人员完成算法模型开发并封装成算法服务后才能使用的,则可以把算法服务直接注册到dataphin平台的数据服务,由数据服务统一管理和监控算法服务的调用。


场景2:客户现有系统已有一些接口,想通过dataphin的服务运维监控功能和鉴权功能,把这些API进行管起来,在调用注册API时,向dataphin发起请求,dataphin再从原接口进行请求数据,实现对已有接口的监控。

例如:企业的一些系统有对外开放的OpenAPI,企业希望对这些OpenAPI的调用进行运维监控。那么可以将这些OpenAPI注册到数据服务,利用数据服务原有的运维监控功能实现OpenAPI的限流、告警、调用统计、调用日志查看等功能。


二、API注册能力介绍

1.1 配置API数据源

先到【管理中心】->【数据源管理】->【新建数据源】数据源的类型选择:半结构化存储->API,创建API数据源。这里仅需要配置后端服务的根路径/域名,以及鉴权信息。

1.2、注册外部API

可以在新建API的时候,选择注册API的方式创建API

配置时,需要先选择一个具体的API数据源,然后服务path配置具体的调用路径(即相对路径),系统会组合成完整的转发调用路径。

1.3 配置注册API的参数信息

请求参数:支持定义请求参数的位置和默认值。

返回参数:支持定义返回参数取值路径,通过编写类似正则表达式的语法来指定提取后端服务返回的Json文档内容,满足各种取数场景。

通过以上三步就可以将外部的API注册到Dataphin中,使用Dataphin进行统一的管理。


三、视频操作手册

通过Dataphin实现API注册的完整流程,可以参考操作视频:


四、结语

支持注册外部API后,企业可以将已开发好的API注册到数据服务平台统一管理运维,对外统一由数据服务平台提供API申请、API鉴权调用、API运维等功能,让企业可以更专注于服务的开发。

建议升级到3.11的新版本之后,用户可以结合企业的实际业务诉求和新的产品能力,将外部API注册到数据服务平台统一管理运维。

相关文章
|
5月前
|
JSON 缓存 算法
如何通过API获取1688商品类目数据:技术实现指南
1688开放平台提供alibaba.category.get接口,支持获取全量商品类目树。RESTful架构,返回JSON数据,含类目ID、名称、层级等信息。需注册账号、创建应用并授权。请求需签名认证,QPS限10次,建议缓存更新周期≥24小时。
480 2
|
5月前
|
JSON 安全 API
亚马逊商品列表API秘籍!轻松获取商品列表数据
亚马逊商品列表API(SP-API)提供标准化接口,支持通过关键词、分类、价格等条件搜索商品,获取ASIN、价格、销量等信息。采用OAuth 2.0认证与AWS签名,保障安全。数据以JSON格式传输,便于开发者批量获取与分析。
|
5月前
|
JSON 监控 API
小红书笔记评论API:一键获取分层评论与用户互动数据
小红书笔记评论API可获取指定笔记的评论详情,包括内容、点赞数、评论者信息等,支持分页与身份认证,返回JSON格式数据,适用于舆情监控、用户行为分析等场景。
|
6月前
|
供应链 监控 安全
1688商品详情API接口实战指南:合规获取数据,驱动B2B业务增长
1688商品详情API(alibaba.product.get)是合规获取B2B商品数据的核心工具,支持全维度信息调用,助力企业实现智能选品、供应链优化与市场洞察,推动数字化转型。
|
5月前
|
数据采集 JSON API
微店API使用指南:高效获取商品列表数据
本文介绍如何使用Python爬虫调用微店item_search接口,根据关键词搜索商品并获取商品列表数据,涵盖请求方式、JSON数据解析、分页参数设置及筛选排序功能,适用于电商数据分析与竞品研究。
|
5月前
|
JSON API 数据格式
淘宝拍立淘按图搜索API系列,json数据返回
淘宝拍立淘按图搜索API系列通过图像识别技术实现商品搜索功能,调用后返回的JSON数据包含商品标题、图片链接、价格、销量、相似度评分等核心字段,支持分页和详细商品信息展示。以下是该API接口返回的JSON数据示例及详细解析:
|
5月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
5月前
|
自然语言处理 算法 数据可视化
看球总刷比分?好奇数据哪来的?你该认识一下「体育API」了
体育API是赛事数据的“幕后搬运工”,实时同步比分、赛程、球员统计等信息,支撑各类应用提供精准推送、深度分析与互动体验,让观赛更智能高效。
495 150
|
5月前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
6月前
|
JSON 前端开发 API
如何调用体育数据足篮接口API
本文介绍如何调用体育数据API:首先选择可靠服务商并注册获取密钥,接着阅读文档了解基础URL、端点、参数及请求头,然后使用Python等语言发送请求、解析JSON数据,最后将数据应用于Web、App或分析场景,同时注意密钥安全、速率限制与错误处理。
674 152

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin