带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

9. 开放能力:自由拓展,满足企业个性化需求

为了连接外部通用平台,以满足多样的客制化场景,Dataphin提供OpenAPI、开放元数据、审批与消息集成和自定义数据源的开放能力,帮助企业实现各类应用对接Dataphin、结合系统元数据进行二次开发、对接内部审批系统和消息渠道、连接任意类型的数据库。

 

 

1) OpenAPI

Dataphin提供各模块对应的OpenAPI,通过调用这些API可以在外部使用Dataphin的各项功能,帮助企业实现外部应用和Dataphin的集成与交互,主要模块对应的OpenAPI说明如下:

 

OpenAPI-研发模块:支持将Dataphin基础研发平台的部分能力集成到其他系统中,包括离线脚本任务和管道集成任务的查询、创建、修改和删除,也提供了上传和管理资源、创建与管理UDF的能力;

OpenAPI-运维模块:协助企业构建个性化的运维工具,通过API可完成离线脚本任务和管道集成任务节点及实例的相关操作,同时可以获取Dataphin的告警事件及告警消息;

OpenAPI-资产模块:对接客户自有的资产管理平台,将Dataphin的资产(表、字段、服务API)上架到客户自有的资产管理平台中,进行统一的数据资产运营;

OpenAPI-平台管理模块:支持使用部分Dataphin平台级别的功能,包括创建与管理数据源、查询项目信息、管理租户和项目中的成员、对用户授权和回收某一资源的权限等。

2) 开放元数据

Dataphin对系统内部的元数据进行加工,生成可以被稳定、标准化访问的开放元数据表。给予开放的元数据信息,客户可以结合业务场景进行二次开发,以更好地满足对下游业务的适配性;也可以对数仓开发任务等进行更细粒度的盘点和分析,以辅助决策优化。

a) 应用场景

资产管理:对已上架的资产(表、指标、数据服务、标签等)进行管理、血缘和影响分析等;

发布分析:对某一时间段内不同租户或不同项目下任务的发布次数、时间等进行分析;

任务运行分析:对任务的运行状况进行统计和分析,包括失败次数、重跑次数、运行时长和负责人等。

b) 优势

提高系统稳定性:如果直接连接元数据库进行查询或同步数据,可能会对Dataphin系统的稳定性产生影响,从而影响正常功能的使用;

提升输出稳定性:Dataphin系统元数据库中的表结构可能会跟随功能升级而产生变化,包括表新增下线、字段新增下线等,直接使用可能会因为变更导致下游数据加工任务出错,通过加工后的元数据可保持输出元数据的稳定性;

降低开发成本:通过访问加工后的元数据,可以快速进行分析,有效降低使用成本。

3) 审批与消息集成

Dataphin支持对接企业内部的审批系统,并提供不同的业务元数据,帮助企业在自有审批系统中自定义审批规则和审批人,常见的场景有:

 

根据业务和组织情况自定义审批流程,如低敏感等级数据自动审批,而高敏感等级的数据需要多级审批等;

负责审批的用户可能是企业的领导,并不存在于Dataphin中, 通过对接内部审批系统帮助企业实现内部流程的统一。

Dataphin支持将系统消息和告警通知发送至指定消息渠道中:

 

提供电话、短信、邮件、钉钉群机器人四种系统内置的消息渠道,在电话和短信渠道中,支持企业快速对接阿里云语音和短信,同时支持对接企业自有的电话和短信服务;

支持在租户中自定义添加除上述四个渠道以外的消息渠道,以满足不同的客制化场景。

4) 自定义数据源类型

为了满足更多的数据源类型连接需求,Dataphin在支持50多种数据源类型的基础上,提供了自定义数据源类型的功能,支持通过上传JAR包和配置文件的方式新增自定义实时数据源和离线数据源类型,如果企业面对以下场景,可使用自定义数据源类型功能进行解决:

 

企业使用的是不再维护的数据源类型或Dataphin尚未支持的数据源类型;

企业需要在数据集成过程中增加自定义数据的处理,如JSON格式的处理、xml格式的处理;

 

完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件:如果是RDBMS类型的离线自定义数据源,则会在组件库的开放目录下自动生成输入和输出组件;如果是其他类型的自定义数据源,则会在开放目录下生成所上传的读取和写入组件。

相关文章
|
7月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
数据挖掘 数据建模 BI
Dataphin常见问题之衍生指标的计算逻辑需要写where和group条件如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
21天前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
101 3
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
607 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
2月前
|
自然语言处理 算法 Unix
【数据安全】敏感字过滤方案总结
【数据安全】敏感字过滤方案总结
45 1
|
2月前
|
Java fastjson Apache
【数据安全】数据脱敏方案总结
【数据安全】数据脱敏方案总结
88 1