带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——9. 开放能力:自由拓展,满足企业个性化需求

9. 开放能力:自由拓展,满足企业个性化需求

为了连接外部通用平台,以满足多样的客制化场景,Dataphin提供OpenAPI、开放元数据、审批与消息集成和自定义数据源的开放能力,帮助企业实现各类应用对接Dataphin、结合系统元数据进行二次开发、对接内部审批系统和消息渠道、连接任意类型的数据库。

 

 

1) OpenAPI

Dataphin提供各模块对应的OpenAPI,通过调用这些API可以在外部使用Dataphin的各项功能,帮助企业实现外部应用和Dataphin的集成与交互,主要模块对应的OpenAPI说明如下:

 

OpenAPI-研发模块:支持将Dataphin基础研发平台的部分能力集成到其他系统中,包括离线脚本任务和管道集成任务的查询、创建、修改和删除,也提供了上传和管理资源、创建与管理UDF的能力;

OpenAPI-运维模块:协助企业构建个性化的运维工具,通过API可完成离线脚本任务和管道集成任务节点及实例的相关操作,同时可以获取Dataphin的告警事件及告警消息;

OpenAPI-资产模块:对接客户自有的资产管理平台,将Dataphin的资产(表、字段、服务API)上架到客户自有的资产管理平台中,进行统一的数据资产运营;

OpenAPI-平台管理模块:支持使用部分Dataphin平台级别的功能,包括创建与管理数据源、查询项目信息、管理租户和项目中的成员、对用户授权和回收某一资源的权限等。

2) 开放元数据

Dataphin对系统内部的元数据进行加工,生成可以被稳定、标准化访问的开放元数据表。给予开放的元数据信息,客户可以结合业务场景进行二次开发,以更好地满足对下游业务的适配性;也可以对数仓开发任务等进行更细粒度的盘点和分析,以辅助决策优化。

a) 应用场景

资产管理:对已上架的资产(表、指标、数据服务、标签等)进行管理、血缘和影响分析等;

发布分析:对某一时间段内不同租户或不同项目下任务的发布次数、时间等进行分析;

任务运行分析:对任务的运行状况进行统计和分析,包括失败次数、重跑次数、运行时长和负责人等。

b) 优势

提高系统稳定性:如果直接连接元数据库进行查询或同步数据,可能会对Dataphin系统的稳定性产生影响,从而影响正常功能的使用;

提升输出稳定性:Dataphin系统元数据库中的表结构可能会跟随功能升级而产生变化,包括表新增下线、字段新增下线等,直接使用可能会因为变更导致下游数据加工任务出错,通过加工后的元数据可保持输出元数据的稳定性;

降低开发成本:通过访问加工后的元数据,可以快速进行分析,有效降低使用成本。

3) 审批与消息集成

Dataphin支持对接企业内部的审批系统,并提供不同的业务元数据,帮助企业在自有审批系统中自定义审批规则和审批人,常见的场景有:

 

根据业务和组织情况自定义审批流程,如低敏感等级数据自动审批,而高敏感等级的数据需要多级审批等;

负责审批的用户可能是企业的领导,并不存在于Dataphin中, 通过对接内部审批系统帮助企业实现内部流程的统一。

Dataphin支持将系统消息和告警通知发送至指定消息渠道中:

 

提供电话、短信、邮件、钉钉群机器人四种系统内置的消息渠道,在电话和短信渠道中,支持企业快速对接阿里云语音和短信,同时支持对接企业自有的电话和短信服务;

支持在租户中自定义添加除上述四个渠道以外的消息渠道,以满足不同的客制化场景。

4) 自定义数据源类型

为了满足更多的数据源类型连接需求,Dataphin在支持50多种数据源类型的基础上,提供了自定义数据源类型的功能,支持通过上传JAR包和配置文件的方式新增自定义实时数据源和离线数据源类型,如果企业面对以下场景,可使用自定义数据源类型功能进行解决:

 

企业使用的是不再维护的数据源类型或Dataphin尚未支持的数据源类型;

企业需要在数据集成过程中增加自定义数据的处理,如JSON格式的处理、xml格式的处理;

 

完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件:如果是RDBMS类型的离线自定义数据源,则会在组件库的开放目录下自动生成输入和输出组件;如果是其他类型的自定义数据源,则会在开放目录下生成所上传的读取和写入组件。

相关文章
|
5月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
安全 Java Apache
Java中的数据安全与隐私保护技术
Java中的数据安全与隐私保护技术
|
4天前
|
自然语言处理 算法 Unix
【数据安全】敏感字过滤方案总结
【数据安全】敏感字过滤方案总结
15 1
|
4天前
|
Java fastjson Apache
【数据安全】数据脱敏方案总结
【数据安全】数据脱敏方案总结
18 1
|
10天前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
1月前
|
存储 安全 数据库
双重防护,无懈可击!Python AES+RSA加密方案,构建最强数据安全堡垒
【9月更文挑战第11天】在数字时代,数据安全至关重要。AES与RSA加密技术相结合,构成了一道坚固防线。AES以其高效性保障数据加密,而RSA则确保密钥安全传输,二者相辅相成,提供双重保护。本文通过Python代码示例展示了这一加密方案的魅力,强调了其在实际应用中的重要性和安全性。使用HTTPS等安全协议传输加密密钥和密文,确保数据在数字世界中自由流通而无忧。
54 1
|
3月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7659 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案