带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

9. 开放能力:自由拓展,满足企业个性化需求

为了连接外部通用平台,以满足多样的客制化场景,Dataphin提供OpenAPI、开放元数据、审批与消息集成和自定义数据源的开放能力,帮助企业实现各类应用对接Dataphin、结合系统元数据进行二次开发、对接内部审批系统和消息渠道、连接任意类型的数据库。

 

 

1) OpenAPI

Dataphin提供各模块对应的OpenAPI,通过调用这些API可以在外部使用Dataphin的各项功能,帮助企业实现外部应用和Dataphin的集成与交互,主要模块对应的OpenAPI说明如下:

 

OpenAPI-研发模块:支持将Dataphin基础研发平台的部分能力集成到其他系统中,包括离线脚本任务和管道集成任务的查询、创建、修改和删除,也提供了上传和管理资源、创建与管理UDF的能力;

OpenAPI-运维模块:协助企业构建个性化的运维工具,通过API可完成离线脚本任务和管道集成任务节点及实例的相关操作,同时可以获取Dataphin的告警事件及告警消息;

OpenAPI-资产模块:对接客户自有的资产管理平台,将Dataphin的资产(表、字段、服务API)上架到客户自有的资产管理平台中,进行统一的数据资产运营;

OpenAPI-平台管理模块:支持使用部分Dataphin平台级别的功能,包括创建与管理数据源、查询项目信息、管理租户和项目中的成员、对用户授权和回收某一资源的权限等。

2) 开放元数据

Dataphin对系统内部的元数据进行加工,生成可以被稳定、标准化访问的开放元数据表。给予开放的元数据信息,客户可以结合业务场景进行二次开发,以更好地满足对下游业务的适配性;也可以对数仓开发任务等进行更细粒度的盘点和分析,以辅助决策优化。

a) 应用场景

资产管理:对已上架的资产(表、指标、数据服务、标签等)进行管理、血缘和影响分析等;

发布分析:对某一时间段内不同租户或不同项目下任务的发布次数、时间等进行分析;

任务运行分析:对任务的运行状况进行统计和分析,包括失败次数、重跑次数、运行时长和负责人等。

b) 优势

提高系统稳定性:如果直接连接元数据库进行查询或同步数据,可能会对Dataphin系统的稳定性产生影响,从而影响正常功能的使用;

提升输出稳定性:Dataphin系统元数据库中的表结构可能会跟随功能升级而产生变化,包括表新增下线、字段新增下线等,直接使用可能会因为变更导致下游数据加工任务出错,通过加工后的元数据可保持输出元数据的稳定性;

降低开发成本:通过访问加工后的元数据,可以快速进行分析,有效降低使用成本。

3) 审批与消息集成

Dataphin支持对接企业内部的审批系统,并提供不同的业务元数据,帮助企业在自有审批系统中自定义审批规则和审批人,常见的场景有:

 

根据业务和组织情况自定义审批流程,如低敏感等级数据自动审批,而高敏感等级的数据需要多级审批等;

负责审批的用户可能是企业的领导,并不存在于Dataphin中, 通过对接内部审批系统帮助企业实现内部流程的统一。

Dataphin支持将系统消息和告警通知发送至指定消息渠道中:

 

提供电话、短信、邮件、钉钉群机器人四种系统内置的消息渠道,在电话和短信渠道中,支持企业快速对接阿里云语音和短信,同时支持对接企业自有的电话和短信服务;

支持在租户中自定义添加除上述四个渠道以外的消息渠道,以满足不同的客制化场景。

4) 自定义数据源类型

为了满足更多的数据源类型连接需求,Dataphin在支持50多种数据源类型的基础上,提供了自定义数据源类型的功能,支持通过上传JAR包和配置文件的方式新增自定义实时数据源和离线数据源类型,如果企业面对以下场景,可使用自定义数据源类型功能进行解决:

 

企业使用的是不再维护的数据源类型或Dataphin尚未支持的数据源类型;

企业需要在数据集成过程中增加自定义数据的处理,如JSON格式的处理、xml格式的处理;

 

完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件:如果是RDBMS类型的离线自定义数据源,则会在组件库的开放目录下自动生成输入和输出组件;如果是其他类型的自定义数据源,则会在开放目录下生成所上传的读取和写入组件。

相关文章
|
2月前
|
数据挖掘 数据建模 BI
Dataphin常见问题之衍生指标的计算逻辑需要写where和group条件如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 供应链 安全
【区块链】智能交易模式下的数据安全流通模型
【区块链】智能交易模式下的数据安全流通模型
99 1
|
5月前
|
存储 数据采集 安全
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
|
18天前
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
|
2月前
|
存储 人工智能 算法
数据安全与隐私保护在人工智能时代的挑战与应对
随着人工智能技术的快速发展,数据安全和隐私保护问题日益凸显。本文将探讨在人工智能时代下,数据安全面临的挑战以及如何有效应对,为保护用户数据和维护信息安全提供新思路。
174 13
|
2月前
|
存储 边缘计算 安全
边缘计算中的数据安全与隐私保护:挑战与应对策略
边缘计算中的数据安全与隐私保护:挑战与应对策略
|
2月前
|
存储 安全 数据安全/隐私保护
云计算中的数据安全与隐私保护:技术与挑战
云计算中的数据安全与隐私保护:技术与挑战
106 0
|
3月前
|
应用服务中间件 网络安全 网络虚拟化
Dataphin公共云多租户数据源上云网络方案
通过Dataphin公共云多租户的方式,可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。Dataphin部署在阿里云上,已有的数据源部署在本地机房,因此数据上云第一步,首先要打通网络。本文将介绍本地IDC机房的数据源网络打通的不同方案。
|
4月前
|
SQL 运维 调度
Dataphin V3.14 版本升级|研发平台更易用,治理能力更完备,企业级适配更灵活
Dataphin V3.14 重磅升级,平台支持企业级适配,适配企业特色;研发体验易用性提升,数据研发更高效、任务运维更便捷;数据治理能力更完备,支持多对象批量操作,规则级告警配置、分级分类自动继承继承!
310 0