一、基础平台开发:
Java 为主。主要做统一数据开发平台、大数据源码级别扩展优化、提供提升开发效率的工具、元数据管理、数据质量管理等。技能要求:Java,Zookeeper,Hadoop,Hive,Spark,Kafka等。
二、数据产品开发:
服务端 Java 为主,全部容器化管理服务。主要是数据报表平台、数据分析平台等。
三、数据仓库:
如果数据开发平台比较完善,一般以 sql 为主,不管是离线计算,还是实时计算,都只需要在数据开发平台上提交 sql 任务即可。更专注数据模型的建设,能够快速实现用户的数据分析需求。如果平台不够完善,实时计算可能还是需要写代码,scala 为主。技能要求:数据建模、报表开发、理解业务
四、数据分析:
sql为主。分析数据趋势,挖掘潜在价值。要求:数据分析技能➕Hadoop➕Hive➕部分Java
五、算法:
Scala,Python,R 。特征提取、算法模型的优化。要求:算法