带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——6. 数据服务:集中管控,快速服务业务系统

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——6. 数据服务:集中管控,快速服务业务系统

6. 数据服务:集中管控,快速服务业务系统


1) 传统数据服务面临的问题


在数据的消费场景中,除了简单地提供数据表,另一种常见的方式是提供数据服务,也被称为API或接口,这种方式可以改善用户的使用体验,更加便捷、安全和高效。在企业中,常见的数据服务场景如下:

 

对内的数据服务:


企业不同部门之间通过数据服务实现数据共享,实现跨部门的协作;


数据部门提供数据服务给业务团队,实现数据赋能业务,用于进一步的商业分析决策;


对外的数据服务:企业将部分数据服务开放给合作伙伴或第三方,实现数据变现。


但是,在传统的数据服务开发模式中,一般数据服务的需求从提出到交付分为:需求提出-需求分析-需求评估与设计-开发-测试-上线-交付,完整的流程往往需要花费超过2周的时间。而且,在接口上线后,如果业务需求发生变更,则需要重新提交需求,安排迭代和开发。这种开发模式对于不同角色而言存在以下问题:

 

角色

问题

管理者

数据服务开发和管理体系不完善,影响企业对数据服务的管理

每个需求独立开发,浪费大量资源

权限体系不方便,网关策略不完善,数据安全无法保障

开发者

业务场景多样,个性化需求多

数据接入方式多样,接入效率低

多物理表关联查询 SQL 代码复杂,维护困难

数据应用者

没有全局服务市场和详细资料,不知道怎么查找已有服务

定制化开发响应缓慢,无法快速满足业务需求

 

2) Dataphin数据服务概述


Dataphin数据服务作为数据研发和应用之间的桥梁,致力于为企业提供便捷、高效的数据服务建设、共享与管理能力,帮助企业实现数据服务的统一市场化管理。

 

image.png

 

3) Dataphin数据服务核心功能与优势


为了解决传统数据服务中的问题,Dataphin数据服务提供统一规范的数据服务市场、简单高效的服务开发方式、服务运维监控和全生命周期的服务管理功能,具体如下:

 

数据服务市场


支持浏览所有已上线的数据服务,提供API文档帮助用户快速了解每个服务的参数列表;


提供申请权限功能,获取权限后即可轻松调用数据服务,减少重复开发、提高工作效率。

 

服务开发


支持界面化配置,可选择Dataphin中的逻辑表和预先创建的服务单元快速生成数据服务;


支持SQL式开发和自动解析,提供逻辑清晰的解析效果,杜绝错误代码的提交;


支持从数据源创建,直接连接有权限的数据源生成服务;


支持外部API注册,复用已经实现的API;


支持编排和复用多个已有的API快捷构建新的服务。

 

服务运维


支持查看指定时间段内的API调用和运行情况;


支持对单个API进行限流和配置告警规则;


支持查看数据服务的调用日志。

 

服务管理


提供数据服务创建、修改、测试、发布、调用、监控的完整生命周期管理;


支持按照项目隔离人员、应用和服务,提高开发效率和安全性;


提供完整的权限管理,支持按需进行权限申请、授权和回收。

 

 

优势:

 

提高服务消费和开发效率:Dataphin服务提供统一的数据服务市场,帮助业务人员快速查找和申请已有服务;同时提供界面化配置、SQL式开发、组合API等多种方式,帮助开发人员快速开发统一规范的数据服务;


保障数据安全与合规 :减少明细、敏感数据在应用侧的存储和暴露,使用统一的平台数据安全管控策略,并提供完善的权限体系和网关配置功能,降低数据安全管控成本;


运维监控:支持对数据服务调用统计、调用日志明细信息的查询,为运维和开发人员排查问题提供帮助,及时发现并修正数据服务的调用异常。

相关文章
|
3月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 供应链 安全
【区块链】智能交易模式下的数据安全流通模型
【区块链】智能交易模式下的数据安全流通模型
300 1
|
3月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
JSON 缓存 运维
Dataphin数据服务API开启IP白名单调用鉴权
Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能,为数据业务化提供了坚实的支撑。在应用调用API的时候,Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中,也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
167 0
|
3月前
|
存储 数据采集 安全
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
165 0
|
20天前
|
SQL 运维 安全
Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
1378 2
Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
11天前
|
消息中间件 Kafka
|
21天前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7278 1
如何在Dataphin中构建Flink+Paimon流式湖仓方案