带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

9. 开放能力:自由拓展,满足企业个性化需求

为了连接外部通用平台,以满足多样的客制化场景,Dataphin提供OpenAPI、开放元数据、审批与消息集成和自定义数据源的开放能力,帮助企业实现各类应用对接Dataphin、结合系统元数据进行二次开发、对接内部审批系统和消息渠道、连接任意类型的数据库。

 

 

1) OpenAPI

Dataphin提供各模块对应的OpenAPI,通过调用这些API可以在外部使用Dataphin的各项功能,帮助企业实现外部应用和Dataphin的集成与交互,主要模块对应的OpenAPI说明如下:

 

OpenAPI-研发模块:支持将Dataphin基础研发平台的部分能力集成到其他系统中,包括离线脚本任务和管道集成任务的查询、创建、修改和删除,也提供了上传和管理资源、创建与管理UDF的能力;

OpenAPI-运维模块:协助企业构建个性化的运维工具,通过API可完成离线脚本任务和管道集成任务节点及实例的相关操作,同时可以获取Dataphin的告警事件及告警消息;

OpenAPI-资产模块:对接客户自有的资产管理平台,将Dataphin的资产(表、字段、服务API)上架到客户自有的资产管理平台中,进行统一的数据资产运营;

OpenAPI-平台管理模块:支持使用部分Dataphin平台级别的功能,包括创建与管理数据源、查询项目信息、管理租户和项目中的成员、对用户授权和回收某一资源的权限等。

2) 开放元数据

Dataphin对系统内部的元数据进行加工,生成可以被稳定、标准化访问的开放元数据表。给予开放的元数据信息,客户可以结合业务场景进行二次开发,以更好地满足对下游业务的适配性;也可以对数仓开发任务等进行更细粒度的盘点和分析,以辅助决策优化。

a) 应用场景

资产管理:对已上架的资产(表、指标、数据服务、标签等)进行管理、血缘和影响分析等;

发布分析:对某一时间段内不同租户或不同项目下任务的发布次数、时间等进行分析;

任务运行分析:对任务的运行状况进行统计和分析,包括失败次数、重跑次数、运行时长和负责人等。

b) 优势

提高系统稳定性:如果直接连接元数据库进行查询或同步数据,可能会对Dataphin系统的稳定性产生影响,从而影响正常功能的使用;

提升输出稳定性:Dataphin系统元数据库中的表结构可能会跟随功能升级而产生变化,包括表新增下线、字段新增下线等,直接使用可能会因为变更导致下游数据加工任务出错,通过加工后的元数据可保持输出元数据的稳定性;

降低开发成本:通过访问加工后的元数据,可以快速进行分析,有效降低使用成本。

3) 审批与消息集成

Dataphin支持对接企业内部的审批系统,并提供不同的业务元数据,帮助企业在自有审批系统中自定义审批规则和审批人,常见的场景有:

 

根据业务和组织情况自定义审批流程,如低敏感等级数据自动审批,而高敏感等级的数据需要多级审批等;

负责审批的用户可能是企业的领导,并不存在于Dataphin中, 通过对接内部审批系统帮助企业实现内部流程的统一。

Dataphin支持将系统消息和告警通知发送至指定消息渠道中:

 

提供电话、短信、邮件、钉钉群机器人四种系统内置的消息渠道,在电话和短信渠道中,支持企业快速对接阿里云语音和短信,同时支持对接企业自有的电话和短信服务;

支持在租户中自定义添加除上述四个渠道以外的消息渠道,以满足不同的客制化场景。

4) 自定义数据源类型

为了满足更多的数据源类型连接需求,Dataphin在支持50多种数据源类型的基础上,提供了自定义数据源类型的功能,支持通过上传JAR包和配置文件的方式新增自定义实时数据源和离线数据源类型,如果企业面对以下场景,可使用自定义数据源类型功能进行解决:

 

企业使用的是不再维护的数据源类型或Dataphin尚未支持的数据源类型;

企业需要在数据集成过程中增加自定义数据的处理,如JSON格式的处理、xml格式的处理;

 

完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件:如果是RDBMS类型的离线自定义数据源,则会在组件库的开放目录下自动生成输入和输出组件;如果是其他类型的自定义数据源,则会在开放目录下生成所上传的读取和写入组件。

相关文章
|
2月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
219 2
|
2月前
|
安全 搜索推荐 大数据
Dataphin资产上下架审批管理——让企业数据资产“可控、可追溯、高效流转”
Dataphin推出资产上下架审批管理功能,通过灵活分层审批、自定义流程模板及对接企业OA系统,实现数据资产全生命周期的统一管控与高效流转,提升数据安全与运营效率。
101 0
|
3月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
159 8
|
2月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
|
2月前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
114 0
|
7月前
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
744 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
|
SQL 分布式计算 Apache
Dataphin x Iceberg 开箱即用的数据湖治理解决方案
Apache Iceberg作为新一代开源数据湖表格式,具备ACID事务、时间旅行和高效Schema演化等能力。Dataphin已完成与Iceberg的深度集成,通过全链路适配与性能优化,为企业提供开箱即用的数据湖治理方案,涵盖数据源支持、离线与实时数据集成、数据研发等核心模块,助力构建现代化数据架构。
226 0
|
4月前
|
SQL 安全 BI
Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系
Dataphin数据服务推出行级权限管控功能,解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问,实现API与SQL权限统一管理,满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系,确保数据安全且提升应用开发效率。
455 0
|
10月前
|
安全 数据挖掘 大数据
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
556 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
|
6月前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
182 8

热门文章

最新文章