大数据产业莫让人才拖后腿

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

2016年9月,中国女排在里约奥运会上再次夺得世界冠军,举国欢庆。中国女排能够在极其艰难的情况下再次书写世界传奇,除了勇于拼搏的女排精神之外,科学的“数据分析”绝不可轻视。

人们注意到:这次女排征战团队中,有一位身穿白色运动服,坐在球场一侧操作计算机的陪打教练——袁灵犀。此人不仅精通排球,而且懂得计算机与大数据技术。女排重金购买了专业的排球大数据分析软件,里面保存有世界排球强队每个队员在不同战术中扣球与吊球的习惯路线等资料。赛前,袁灵犀一直利用数据分析指导女排队员训练。比赛过程中,每个回合他都利用代码将有价值的细节录入系统,时时向教练提供本队与对手的技术分析数据。有了袁灵犀及其数据分析,总教练郎平才能真正做到知己知彼,正确决策,调整队员布局。

大数据分析助力女排胜利夺冠,这正是大数据在中国如火如荼发展的一个缩影。

图为里约奥运会中国女排夺冠之役。

坐在球场边进行数据分析的袁灵犀。

人才成掣肘

大数据是新一代科技浪潮中的核心科学技术。2015年国务院印发《促进大数据发展行动纲要》,高屋建瓴地为大数据在各个领域的应用和发展提供指导。

大数据的应用发展与快速推进主要体现在以下几个方面:建立国家级大数据平台,使数据成为国家战略资源并成为大数据实际应用的基础;各级政府和诸多行业利用大数据平台助力解决交通拥堵、教育普及、精准扶贫等棘手问题。大数据的精准性、预测性和智能性,为各行业在规划、治理、管理、决策、营销等方面的决策提供了强有力支持。

总体来看,大数据在商业、金融、物流和零售等行业的应用已经先行一步,在医疗、教育和体育等行业的应用方兴未艾,但是在十分重要的政府治理方面尚有待加大发力。

根据我们的观察,制约大数据进一步发展的瓶颈很有可能是大数据人才不足。所谓“十年树木百年树人”,人才培养有其自身的规律,大数据领域的人才培养也不可能脱离这种规律。

什么样的人才是大数据人才呢?可以从大数据岗位和技能需求的角度进行定义和分类。第一类当属数据分析师。数据分析师熟悉大数据的概念和原理,具有一定的数理和统计学知识,能够熟练操作和使用数据软件和工具,他们工作在大数据与各个领域结合的第一线,例如女排的数据分析师袁灵犀就要既懂数据又懂排球,二者缺一不可。第二类是数据工程师。数据工程师应该能够开发和搭建数据平台和应用,并且熟悉数据挖掘的流程和原理,为大数据技术应用在各个领域提供解决方案。第三类是数据科学家。数据科学家需要熟悉各种大数据技术的原理和相对的优劣势,合理利用各种技术来设计大数据平台的架构,根据数据挖掘的使用需求和商业理解来设计和开发算法。

为了便于大家理解,我们可以用航空工业中的各类人才做个类比:数据分析师类似于飞行员,数据工程师类似于飞机生产制造和维护人员,而数据科学家则类似于飞机设计人员。遥想当年,莱特兄弟发明飞机的时候,他们二人既是设计者又是制造者和飞行员,但现在这是三个完全不一样的岗位类型。随着大数据技术的成熟,大数据人才的划分也会经历类似的过程。

培养周期长

现在大数据工程师和大数据科学家之间的界限还很模糊,不过数据分析师已经逐渐分离了出来。正如我们不需要飞行员也能够制造飞机一样,数据分析师相对于其他两者培养起来要容易一些。但是不同的飞机和不同的飞行场景对飞行员有不同的要求,数据分析师在不同领域的技能要求也不完全一样,总的说来,使用越复杂的数据应用和工具越需要数据分析师掌握更多的数据知识和技能。

如今,任何大数据平台的搭建和维护都需要成建制的数据工程师和数据科学家。过去两年间每年有数十个大数据平台在启动和搭建,这就在短时间内形成了对数据工程师和数据科学家的巨大需求,而在大数据人才的供应特别是高端人才供应方面则受到人才保有量不足和人才培养周期长的制约。如果我们从大学入学开始计算,加上软件开发和数据算法建模等方面工作经验的形成,培养一个合格的数据工程师和数据科学家至少需要五到十年的时间。

当前一个明显的事实是,大数据人才培养速度明显低于大数据发展和应用的速度。据调查,尽管全国50%的大数据人才集中在北京,但是北京的互联网公司仍然普遍遇到了合格的大数据人才“招聘难”和“留人难”的问题。

先下手为强

大数据产业兴起于美国。美国现在正遭遇的“大数据人才荒”及其采取的应对措施,可以给我们诸多启发和借鉴。

例如,大数据人才在领英(LinkedIn)和玻璃门(Glassdoor)等人力资源和招聘网站,长期处于供不应求的状态。麦肯锡咨询研究指出,到2018年仅仅在美国,大数据人才短缺就到达50%-60%。今日美国和彭博社等媒体一致认为,大数据人才短缺的问题短期内只会加剧而不会缓解。同时,美国教育系统正根据市场需求做出调整,很多大学纷纷设置大数据研究院和相关专业。北卡公立大学早在2007年就先知先觉地设立了数据分析硕士项目,2016年该项目毕业生的就业率达到了100%,而且平均年薪达到了10万美元左右。该项目从2007年到现在的毕业生人数已经达到了100多人。然而,同美国教育界全力开动起来培养的人才数量和大数据快速发展所需要的人才数量相比,仍然是杯水车薪。

可以预见,在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的。有鉴于此,建立中国的大数据人才平台,对大数据人才问题进行超前研究,并且未雨绸缪,加大人才培养和引进的力度,应该引起领导者与人才规划部门更多的重视。


本文作者:黄秋钧 王通讯

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
360 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
53 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
90 1
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
56 3
|
1月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
70 4
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
25 4
|
1月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
59 3
|
1月前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
71 2
|
1月前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
117 2