Dataphin V5.0:支持创建异步调用API,实现慢 SQL 复杂计算的直连消费

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 本文介绍了数据服务产品中异步调用的应用场景与优势,包括大数据引擎查询、复杂SQL及大规模数据下载等场景,解决了同步调用可能导致的资源浪费和性能问题。通过创建异步API、测试发布以及权限申请等功能,实现高效稳定的服务提供。以电商订单查询为例,展示了如何利用异步调用提升系统性能与用户体验。

背景及应用场景

当前业内的数据服务产品对外提供接口服务时,仅支持以同步形式进行调用,但该方式在一些场景下不能很好的支持使用,而调用方式支持异步则能够覆盖对应场景,并高效、稳定的提供服务:

       1、大数据引擎下的数据查询:在对大数据引擎内的数据做查询时,通常会先把数据同步到分析型引擎(OLAP)上再提供API的查询,但会因为数据复制造成计算、存储资源的浪费,同时维护集成任务的代价高。对于查询的性能要求不高的场景下,使用异步调用可以避免数据复制,节省存储和计算资源,节省大量后端研发的工作。

       2、复杂SQL以及大规模数据的查询:在OLAP分析引擎下,一般会把复杂的逻辑放在API的逻辑中,而不在应用端进行查询结果的拼接,因此复杂的查询将造成更长的响应时间,可能会导致请求超时,异步调用则能够支持正常调用。

       3、大规模数据下载:进行大规模数据下载时,系统负载增加,同步调用会限制系统的并发处理能力,也会影响稳定性和性能,使用异步调用能够在等待数据下载完成时释放资源,提升稳定性。

应用示例

电商或零售业务中,订单量的查询是常见的需求。当数据量庞大时,同步查询可能会导致客户端长时间等待,导致接口超时。现在需要针对一张大数据引擎的订单表对外提供API服务,就可以直接前往数据服务模块,选择对应的订单表,创建异步调用方式的getCustomerOrders()接口,直接对外提供客户订单量查询服务。

功能概览

1、创建异步调用模式的API

 image.png image.png









2、测试提交发布API

 image.png image.png









3、申请权限进行调用  

 image.png image.png



 image.png







相关文章
|
2月前
|
SQL 运维 关系型数据库
【产品升级】Dataphin V5.0版本发布:助力出海业务、增全量一体集成、异步调用API等更多功能等你发现
Dataphin是瓴羊推出的智能数据建设与治理平台,基于阿里巴巴内部实践,提供一站式数据建设与治理能力。V5.0版本研发新增支持Databricks作为离线计算引擎、支持MySQL数据库一键增全量同步、支持管理Hudi、Delta Lake表等;资产运营与消费持续提效,支持批量编辑目录名称及描述、Quick BI仪表板的上架管理等功能,增加资产可用性与盘点效率。
214 8
|
4月前
|
API
Dataphin功能Tips系列(58)- 支持OAuth2.0认证方式的API数据源
在数据集成过程中,Dataphin需通过API从外部系统获取数据,而这些系统常采用动态令牌鉴权机制。本文介绍如何在Dataphin中配置支持OAuth 2.0认证的API数据源,实现自动获取和刷新访问令牌,确保安全高效地进行数据请求与集成。
120 8
|
4月前
|
API
Dataphin功能Tips系列(64)-API资产编目及上架
在企业数据部门中,因API命名不规范、分类不清、信息不全等问题,导致业务开发人员查找困难、重复咨询、误用接口等,影响效率。Dataphin提供API资产编目与上架功能,通过目录规划、属性管理、手动/自动上架等方式,实现API的系统化管理与精准检索,提升业务响应效率。
110 0
|
4月前
|
SQL 安全 BI
Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系
Dataphin数据服务推出行级权限管控功能,解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问,实现API与SQL权限统一管理,满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系,确保数据安全且提升应用开发效率。
446 0
|
6月前
|
数据采集 安全 大数据
Dataphin 5.1:API数据源及管道组件升级,适配多样化认证的API
为提升API数据交互安全性,Dataphin 5.1推出两种新认证方式:基于OAuth 2.0的动态授权与请求签名认证。前者通过短期Access Token确保安全,后者对关键参数加密签名保障数据完整性。功能支持API数据源OAuth 2.0认证和自定义签名配置,未来还将拓展更灵活的认证方式以满足多样化需求。
199 14
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
511 13
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
330 9
|
SQL 存储 网络安全
关系数据库SQLserver 安装 SQL Server
【7月更文挑战第26天】
225 6
|
SQL Oracle 关系型数据库
MySQL、SQL Server和Oracle数据库安装部署教程
数据库的安装部署教程因不同的数据库管理系统(DBMS)而异,以下将以MySQL、SQL Server和Oracle为例,分别概述其安装部署的基本步骤。请注意,由于软件版本和操作系统的不同,具体步骤可能会有所变化。
1136 3