数据开发从业者的3个核心能力
前面讲了数据开发技术的三个方向:1)流批一体成为主流开发模式,2)代码自动化技术走向成熟,3)OLAP Cubes终将衰落。对于数据开发从业者而言,在技术的发展中,如何持续保持个人竞争力,我认为最重要的是如下三项能力。
1、能深入理解你所服务的业务
只有深入理解业务,才能真正知道当前业务处在什么阶段,碰到了什么问题,重点目标是什么。对应到企业的数据建设,一定要先解决“为什么”的问题,当前数仓服务的业务现状是什么,为了解决业务什么问题,期望达到什么目标,这些是无法靠技术自动化解决的。然后才是模型设计、实施落地。
2、有把数据做深的能力
数据会被用来搭建一个个分析报表,服务一个个数据产品,好像数据产生后,就和数据开发从业者无关了,以至于从业者很多自嘲是“人肉SQL机器”,是“数据搬运工”,也经常被合作方称做“ETL工程师”。把数据做深的能力是指生产数据之外,能持续去思考从这些数据里能获取什么,不管是通过数理统计还是机器学习,探索能否挖掘出推动业务增长的洞察,以及行动指引,是做“数据掘金者”。
3、具备数据链路的全局观
数据链路的全局观不仅仅是清楚整个数据架构是什么样子,熟悉数据是如何流转的,更是能做数据链路的全局优化。如整个数据链路的稳定性保障,数据资产的组织和管理机制设计,数据的全链路价值评估、成本治理,数据的质量管理及测试、监控机制的建设等。