9. 开放能力:自由拓展,满足企业个性化需求
为了连接外部通用平台,以满足多样的客制化场景,Dataphin提供OpenAPI、开放元数据、审批与消息集成和自定义数据源的开放能力,帮助企业实现各类应用对接Dataphin、结合系统元数据进行二次开发、对接内部审批系统和消息渠道、连接任意类型的数据库。
1) OpenAPI
Dataphin提供各模块对应的OpenAPI,通过调用这些API可以在外部使用Dataphin的各项功能,帮助企业实现外部应用和Dataphin的集成与交互,主要模块对应的OpenAPI说明如下:
∙ OpenAPI-研发模块:支持将Dataphin基础研发平台的部分能力集成到其他系统中,包括离线脚本任务和管道集成任务的查询、创建、修改和删除,也提供了上传和管理资源、创建与管理UDF的能力;
∙ OpenAPI-运维模块:协助企业构建个性化的运维工具,通过API可完成离线脚本任务和管道集成任务节点及实例的相关操作,同时可以获取Dataphin的告警事件及告警消息;
∙ OpenAPI-资产模块:对接客户自有的资产管理平台,将Dataphin的资产(表、字段、服务API)上架到客户自有的资产管理平台中,进行统一的数据资产运营;
∙ OpenAPI-平台管理模块:支持使用部分Dataphin平台级别的功能,包括创建与管理数据源、查询项目信息、管理租户和项目中的成员、对用户授权和回收某一资源的权限等。
2) 开放元数据
Dataphin对系统内部的元数据进行加工,生成可以被稳定、标准化访问的开放元数据表。给予开放的元数据信息,客户可以结合业务场景进行二次开发,以更好地满足对下游业务的适配性;也可以对数仓开发任务等进行更细粒度的盘点和分析,以辅助决策优化。
a) 应用场景
∙ 资产管理:对已上架的资产(表、指标、数据服务、标签等)进行管理、血缘和影响分析等;
∙ 发布分析:对某一时间段内不同租户或不同项目下任务的发布次数、时间等进行分析;
∙ 任务运行分析:对任务的运行状况进行统计和分析,包括失败次数、重跑次数、运行时长和负责人等。
b) 优势
∙ 提高系统稳定性:如果直接连接元数据库进行查询或同步数据,可能会对Dataphin系统的稳定性产生影响,从而影响正常功能的使用;
∙ 提升输出稳定性:Dataphin系统元数据库中的表结构可能会跟随功能升级而产生变化,包括表新增下线、字段新增下线等,直接使用可能会因为变更导致下游数据加工任务出错,通过加工后的元数据可保持输出元数据的稳定性;
∙ 降低开发成本:通过访问加工后的元数据,可以快速进行分析,有效降低使用成本。
3) 审批与消息集成
Dataphin支持对接企业内部的审批系统,并提供不同的业务元数据,帮助企业在自有审批系统中自定义审批规则和审批人,常见的场景有:
∙ 根据业务和组织情况自定义审批流程,如低敏感等级数据自动审批,而高敏感等级的数据需要多级审批等;
∙ 负责审批的用户可能是企业的领导,并不存在于Dataphin中, 通过对接内部审批系统帮助企业实现内部流程的统一。
Dataphin支持将系统消息和告警通知发送至指定消息渠道中:
∙ 提供电话、短信、邮件、钉钉群机器人四种系统内置的消息渠道,在电话和短信渠道中,支持企业快速对接阿里云语音和短信,同时支持对接企业自有的电话和短信服务;
∙ 支持在租户中自定义添加除上述四个渠道以外的消息渠道,以满足不同的客制化场景。
4) 自定义数据源类型
为了满足更多的数据源类型连接需求,Dataphin在支持50多种数据源类型的基础上,提供了自定义数据源类型的功能,支持通过上传JAR包和配置文件的方式新增自定义实时数据源和离线数据源类型,如果企业面对以下场景,可使用自定义数据源类型功能进行解决:
∙ 企业使用的是不再维护的数据源类型或Dataphin尚未支持的数据源类型;
∙ 企业需要在数据集成过程中增加自定义数据的处理,如JSON格式的处理、xml格式的处理;
完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件:如果是RDBMS类型的离线自定义数据源,则会在组件库的开放目录下自动生成输入和输出组件;如果是其他类型的自定义数据源,则会在开放目录下生成所上传的读取和写入组件。