作为一名数据开发工作人员,使用DP(DataPhin下文用DP简称)开发作业已经有几年时间了,我来对DP功能的使用体验来做个简单的总结报告。DP最亮点的就是图形化界面特别清晰明了,对开发人员很友好能够快速的上手进行数据开发处理。
以下是DP几个亮点的功能体验总结:
DP的功能十分灵活丰富,不仅支持传统的SQL语句、还支持Python、shell、spark等语言的开发作业。
DP的性能十分强大,在处理大批量数据及复杂的代码的时候十分的高效,能够满足企业对于大批量数据处理的需求。DP对于开发、运维都十分友好,首先开发完成能够先进行“预编译”来检索代码的是否存在语法错误;
然后在配置属性的过程冲能够自动解析(图中序号3)开发任务中所用到的表任务依赖,这样极大的提高了开发的工作效率,同时也是对血缘档案的自动维护。
DP任务的调度周期高度自定义,对于复杂的业务需求十分友好,开发者可以根据业务需求选择周期调度或者定期、自定义日期调度。自定义调度举例:某个任务想要在固定的时间段停掉,或者只在固定的时间点开启运行,开发者都可以使用条件调度功能自己按照需求编排任务的调度周期。
DP集成抽数功能支持的数据库种类非常丰富,工作中最常用到的数据集成抽数功能,为企业及开发者提供了更多的选择。在早期版本的集成管道作业中DP不支持date类型字段的输出到目标库,这就导致很长一段时间我们都是用datetime类型传输,不过后期经过版本的升级迭代最终支持了date类型的传输。同时在数据集成传输的时候,还可以根据集群的资源进行自定义的配置任务运行参数。
最后就是DP的官方服务团队人员十分给力,在使用DP进行开发有问题的时候官方的团队基本是7*12小时在线处理问题,任何问题都能及时的跟进解决,给服务团队点赞。