【深度剖析】大数据职业发展体系全解【附下载】

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 【深度剖析】大数据职业发展体系全解【附下载】

这是彭文华的第115篇原创

   今年大家过的的确都很艰难。往日线下会议早就如火如荼了,今年不仅线下会议少了,一些大会干脆就改线上了。前几天跟DataFun创始人王总唠嗑,看能不能帮助大家在职业道路上走的顺心点,这就一拍即合了。

今天就把前些天分享的内容贡献出来,希望能帮到大家~~


为啥要了解职业发展体系?

   很多同学对大数据行业还很陌生,即便是已经入行的同学,也不太清楚整个大数据的全貌是怎样的,也不知道自己当前做的事情能向那个职位跃迁。其实这非常不利于职业规划的。

   可能你要问了,这个职业发展体系跟我职业规划有什么关系啊?

   我这里给你列了一个职场能力清单,都是混职场实实在在需要的能力。这些能力看上去好像很空,没有各种大数据技术来的实在,但是在职场上工作的越久,就越能体会到这些能力的重要性。因为这是冰山模型中的隐性潜能。


   职业发展体系其实是提升自我价值序列中非常重要的一环。咱最少得对自己从事的职业有一个基本的认知,然后再去谈发展的事情。否则就是盲人骑瞎马,走到那算哪。运气好还行,运气差,那就是1949年进了国民党啊。

   其实每个企业的人事部门都会发起“职业发展体系”的梳理工作。这个发展体系通常是由各部门主导,人事部门支持的方式,逐一梳理清楚。

这个职业发展体系除了能解答刚才的问题之外,还能提供清晰的能力标准,实现人岗匹配,关键的是牵引员工能力提升和学习资源的建设以及帮助员工拓展发展通道。


   这样的好处是让给员工一个上升的通道,在制度上保证员工长期稳定的输出,从而降低企业用工成本;另一方面也能保证员工的利益,能够不断的提升,获得职位、金钱的回报。

   职业发展体系是一个非常专业的事情,通常由人事部门的OD(组织发展)线负责。这个工作有非常清晰的流程:职业梳理与分析、职业通道设计、任职资格标准设计、任职资格认证和任职资格结果应用。


   前面三个就是设计所有职位、各职位的发展通道以及任职标准的。后面两个是用来通畅上升通道用的。比如阿里、美团的晋升考核,就是任职资格应用的典型案例。


大数据职业体系剖析

   人事部门设定职业体系的逻辑是因事定岗。


   对应到咱大数据体系上,基本上要搞定这几件事情:软硬件基础、技术架构平台建设、数据资产管理、数据治理、数据分析、业务应用、智能应用和组织保障。


   各自需要解决一部分问题。这些内容看上去都是相关的,但是隔行如隔山,离的都还远着呢。

   这是一张典型的大数据架构图。我们从这张图就能分解出所有事情。

   我们从下往上看这张图,最下面是数据源,再往上就是数据接入。那么这里就来活了,数据采集和接入,对应的职位就是ETL工程师或者大数据工程师,使用的工具是KETTLE、Flume、Kafka、Sqoop等。


   往左上一些,是存储和统一资源调度,这是大数据集群,就有平台搭建及运维的活,对应的职位就是大数据工程师或大数据运维工程师。


   再往上是数据仓库设计和数据处理的工作,对应的是数据仓库工程师和ETL工程师。这里分离线和实时,在一些大厂,会相应的分开。


   咱往图的右侧看,还有数据管理和数据监控,这些是数据治理、元数据管理、数据安全管理的活。对应的职位就是数据治理工程师。不过这个工作小厂不太关注,一般还得有大佬带着,一个岗位搞不定。所以这个岗位其实是另辟蹊径进大厂的小路。


   最上面就是应用层了。基本上就分为数据分析、数据可视化和算法。大厂里又能细分为商业数据分析师、数据分析师、BI工程师、算法工程师等等。同时还会按照行业和业务领域继续细分。

   根据上面的内容,我们就能梳理出一个大概的职业领域,简单分为5个类别:

  • 集群运维:解决底层软硬件基础的问题。
  • 数据工程:解决数据的采集、加工、处理的问题。
  • 平台工程:建设整个大数据平台。
  • 业务分析:满足业务方的基础数据需求。
  • 数据应用:用数据创造价值。

   在梳理所有职位之前,我们还得了解了解一下职业发展通道。在企业中,一般就是管理和专业/技术两条线了。所以基本上我们就能看到两条大路:一条是专业/技能专精(P系列),一条是到骨干之后,走管理路线(M系列)。


   现在很多人说35岁到不了高管就废了,这不仅是对自己的不自信,也是对职业发展通道的认知不够。

基层员工+骨干员工组成了一线战斗团队,通常由基层管理或者核心骨干带领,是打硬仗的队伍。


   中层管理或者专家则作为中坚力量,组织多个战斗团队,协同配合,搞定一个个的战役,赢得胜利。

   高层或者资深专家则从战略角度,对整个公司的业务进行规划和设计,攻城略地。


   大家需要注意的是,每一个层级都有其任职资格要求。每个职位都会设计这些任职资格。不过这个就没法统一了,每个公司都不一样。


   这个和管理模式是有区别的。扁平化管理指的是管理模式,不会把发展通道给去掉的。

   那么根据大数据体系需要做的事情,以及职业发展通道,我们就能梳理出来大数据领域各方向的职位列表。基本上能覆盖所有大数据体系的职位了。


   我们简单过一下:

   从下往上,越往下越靠近底层技术,越往上越靠近业务应用。

底层解决的是基础环境,职位包括云计算工程师、运维工程师、运维经理等,需要掌握虚化技术,什么docker、k8s、集群运维、监控等。


   往上是数据工程,数据处理方向和数仓方向,职位有数据架构师、数据仓库工程师、ETL工程师/大数据工程师等。


   再往上是平台建设,数据产品和开发方向,职位有平台架构师/大数据架构师、开发经理、大数据开发工程师、大数据平台产品经理。


   再往上是业务分析领域,有商业数据分析、可视化、BI和数据分析方向。这里通常是最繁忙的,人称表哥表姐。商分偏业务,数分偏技术。


   最上面是数据应用领域,有智能数据应用、AI、数据挖掘方向。基本上就是各种数据应用的探索和建设。各种推荐、广告等。直接产出商业价值。

   现在我们就能梳理出所有职位的能力模型。在各个公司里会有更详细的内容,包括岗位职责、关键指标、汇报关系、内部协作关系、任职资格、晋升通道等等。这个太复杂了,在这里我就不全部列出来了。

   我们按照业务分析、数据应用、平台开发和数据工程,切分为四大方向,这四个方向内部,在技能上和工作上有交叉,平常的工作中稍微多做一些,就有机会相互转化。


   这是按照职能划分的,另外还有一种组织形式,就是项目制。比如说一些大厂,专门会有一个平台或者中台团队,进行数据平台或者中台的建设;有一个推荐团队专门做推荐系统;一个OLAP团队专门做OLAP,一个商业化团队专门做DSP、DMS等等。业务越复杂,规模越大,分工就越细。只要有共同的技术、业务,那么都存在互相转的可能。

   另外呢,每个岗位其实都会分最少高、中、初级三个大等级。有些公司会分很多个小等级,比如阿里P10基本就到头了。


   不同岗位的级别上下也是有设定的。以数据分析领域为例,基本上有三个职位:数据分析师、商业数据分析师和战略数据分析师三种职位。


   数据分析师面对的客户是运营、产品等执行层,自己做的较多的是做执行,俗称“表哥表妹”,天天做报表,出图,跑个数啥的。可想而知,替代性很强。刚毕业的大学生,有1、2年经验基本就能搞定了。我曾经带过一个大专的实习生,半年之后就能承担非常多的取数的工作了。


   商业数据分析师更多的是协同运营、产品、算法等同时,贴近业务,解答商业问题,提出商业解决方案,不断的优化,产生商业价值。这最少是核心骨干。


   战略数据分析师(数据科学家)则更多的面对企业高管、投资方,从商业模型、战略层面提出战略构想,引领企业发展。这种人出去肯定是要被竞业的。

   这样我们就可以梳理出各个岗位之间的关系了。

   每个职位的起始和终止等级,颜色越靠近,关系就越紧密,可以互转。颜色越深,就越不容易转。但也不是绝对的。


   ETL、BI可以互转,可以往数仓、数据架构师方向走,基本干的活也类似,大数据开发工程师也可以考虑,同时要可以转管理岗。


   数据分析师偏技术,如果加深对业务的理解,和解答问题的能力,就能转商分。


   产品经理比较特殊,所有数据相关的同学,对产品感兴趣的,可以尝试一下,毕竟是跨行了,还是比较有挑战的。建议有平台工程方面同学挑战一下,毕竟是见过猪跑的。比如偏底层的运维工程师就不太建议。运维可以往大数据开发、ETL工程师方向尝试。


   当然,也不说绝对的,如果说非常感兴趣,投入了大量时间去学习和训练,同时在公司内可以尝试挑战一下,一点点揽活,也能慢慢转过去。

   所以推荐的路线:有管理才能的,先成为骨干,再转管理;愿意研究技术的,走技术专精路线。发现自己的天赋不在目前的工作上的,可以一点点的揽点活,慢慢转过去。


   先做事,让自己值钱,然后再谈钱的事情。


如何让自己值钱

   这个给一个网上找到的各大厂级别与薪资对照,各位可以参考一下。一是让大家了解薪资水平,二是让大家对比一下各大厂的级别规则。

   Ok,职业的发展路线咱有了,接下来就是谈钱了。

   想要让自己工资变高,得先理解工资的意义是什么。

   经济学里一句话:价格是价值的表现形式。也就是说创造多少价值,才有可能拿到更高的价格。


   在劳动关系中,工资是企业对你的劳动价值的货币定价。社会对每个人都有一个定价,作为打工人,我们要做的是努力提升头顶上的那个定价。单位时间的价格。


   最后,是稀缺。为什么前面说创造多少价值才有可能拿到更高的价格呢?很多时候缺了我们就不行。没有数据,他们都变瞎子。但是我们的价格还是便宜,为什么?因为可替代性。


   氧气对我们重要吧?缺氧30s你就受不了。但是你为啥不买空气呢?因为到处都是。所以内卷就是这么来的,充分的竞争必然导致无意义的进化,这就是内卷。

   如果想要提升自己的竞争力,之前说过两个方向:

1、技能专精;

2、管理路线。

   但是这两个都比较难。那有没有更好的方式呢?有的。

   比如,刚刚给大家介绍的这些职位跟公司规模是有关系的。公司数据团队小,一般都是一个人身兼数职。在大厂,可能还会细分出无数的职位。这个时候机会就来了:


   1、找到细分技术、细分领域或者细分业务,找一个方向,做下去,积累经验,这样你就有一个细分的能力,这个能力比较稀缺,这就能提升你的价格。

   但是这样会让你的选择面稍微小一些。

   2、另外一方面,你可以拓宽自己的知识面,针对一个解决方案吃透,这样就可以找到一些小厂,帮他们建立完整的体系。这样也行。

   3、还有,你可以让自己增加项目管理能力、团队管理能力,成为团队内部助理的角色,慢慢的发展为leader的角色。


   总之,就是通过不断的增强自己的能力、选择合适的路线等方法,来增加自己的稀缺性,从而提升自己的竞争力和价值。

   这是国家信息中心在2017年发布的大数据发展报告的内容。深色的是招聘需求,浅色的是求职人数。这张图其实也解释了数据分析师的焦虑所在。招聘需求多,瞄准这个位置的人也就多了,竞争也就激烈了。太多人在这个职业上,加上替代性太强,数据分析师们自然就焦虑了。

   2017年的大数据行业薪资看上去也不是很高。但是考虑到的是全国的数据,基本上差不多。这里有一个特殊的点,招聘者有24.48%薪水分布在1-1.5w,但是同样期望薪资区域只有17.06%的人。所以,各位没到这个位置的人,工资期望可以大胆一点。

   这是摹根麦肯立最新的薪酬报告,这个基本上符合一、二线城市各职位的宽带薪酬情况了。各位要加油啊。

   这个是科锐国际的薪酬指南。科锐是猎头公司,基本上锁定的是高端人才。这个价格可以作为大家奋斗的目标。


具体怎么做?

   结果是规划出来的,是规划后执行出来的。大家可以根据自己的情况, 确定自己的目标和方向,然后补足短板,厚积薄发,提升自身的价值,然后再获得职级和薪资的提升。

   Ok,前面说了这么多,总得给点实在的东西。

   最后,个人职业提升计划该怎么做?这个其实很多人力资源规范的公司都有,就是IDP,个人提升计划。我们团队有新人进来的时候,我都会带着他给他设置一个IDP。

从入职开始规划你在公司的未来,然后按照步骤一步一步执行,即便是有偏差,也差不到哪里去。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
机器学习/深度学习 分布式计算 算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者,聚焦Spark实用技巧,同时深入核心概念。作者团队来自Databricks,书中详述Spark 3.0新特性,结合机器学习展示大数据分析。Spark是大数据分析的首选工具,本书助你驾驭这一利器。[PDF下载链接][1]。 ![Spark Book Cover][2] [1]: https://zhangfeidezhu.com/?p=345 [2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
174 1
Spark快速大数据分析PDF下载读书分享推荐
|
6月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
|
6月前
|
存储 分布式计算 DataWorks
MaxCompute问题之下载资源如何解决
MaxCompute资源指的是在MaxCompute项目中使用的计算资源和存储资源;本合集旨在向用户展示如何高效管理MaxCompute资源,包括资源包管理、配额调整和性能优化等方面。
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
53 0
|
1月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
69 0
|
4月前
|
分布式计算 运维 DataWorks
MaxCompute操作报错合集之用户已在DataWorks项目中,并有项目的开发和运维权限,下载数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
5月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用问题之表数据大于1w行,如何下载数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
分布式计算 大数据 Java
MaxCompute产品使用合集之如何通过Java SDK下载
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
存储 分布式计算 Hadoop
【大数据】分布式数据库HBase下载安装教程
【大数据】分布式数据库HBase下载安装教程
153 0
|
5月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
224 0