2019数据科学家最需要的技能盘点,Python大火,Pytorch职位需求翻番

简介: 2018年medium上一篇博文分析了数据科学家最需要的技能,那篇文章引起了很大的反响,在medium上有超过11000次点赞,并被翻译成几种语言,成为了2018年11月KD Nuggets最受欢迎的文章。

image.png

大数据文摘出品
来源:medium

编译:赵吉克

2018年medium上一篇博文分析了数据科学家最需要的技能,那篇文章引起了很大的反响,在medium上有超过11000次点赞,并被翻译成几种语言,成为了2018年11月KD Nuggets最受欢迎的文章。

2018年文章链接:

https://towardsdatascience.com/the-most-in-demand-skills-for-data-scientists-4a4a8db896db

一年多过去了,2019的作者也发布了最新的分析,让我们看看有什么变化。

image.png

2018年的文章考察了对统计和沟通交流等一般技能的需求以及对Python和R等技术的需求。软件技术的变化一定快于一般技能需求上的变化,所以在本更新中只包括技术部分。

我们搜索了SimplyHired、Indeed、Monster和LinkedIn以查看在美工作的列表中哪些关键词和“数据科学家”共同出现。这一次,我们决定用Request和Beautiful Soup包来获取工作列表,而不是手工搜索。

事实证明,LinkedIn的爬取要困难得多,因为查看工作的列表的准确数字需要身份验证。我决定使用Selenium进行无头浏览。2019年9月,美国最高法院对LinkedIn做出了判决,允许其数据被爬取。尽管如此,在几次抓取尝试后,还是无法访问账户,这个问题可能源于刷新率限制。

不管怎么说,微软拥有LinkedIn,Randstad Holding拥有Monster, Recruit Holdings拥有Indeed和SimplyHired。

无论如何,LinkedIn的数据可能无法提供从去年到今年的苹果公司职位对比。今年夏天,LinkedIn的一些技术职位搜索词每周都会出现大幅波动。这可能是由于他们试图通过使用自然语言处理来衡量搜索目的,因而对他们的搜索结果算法进行了实验。相比之下,另外三个搜索网站在过去两年中出现的“数据科学家”相关职位列表数量则相对接近。

基于这些原因,LinkedIn被排除在本文2019年和2018年的分析之外。

对于每个工作搜索网站,我们计算了该网站中出现的每个关键词在所有数据科学家工作列表中所占的百分比。然后,在三个站点上为每个关键字取这些百分比的平均值。

同时手动调查了新的搜索词以及那些看起来很有前途的词。在2019年,没有新的搜索词达到占全体5%的占有水平,这是下述结果中使用的截断指标。

PyTorch职位需求翻番

我们采用四种方法来查看每个关键字的结果:

  • 方法1:对于每个求职网站,在每个年度用包含关键词的列表数量除以包含data scientist的搜索词总数。然后取三个网站的平均值。
  • 方法2:看看2018年至2019年这些列表的平均比例变化的绝对值。
  • 方法3:看看2018年至2019年这些列表的平均比例变化的相对百分比。

在完成上面的第一个步骤之后,计算每个关键字相对于该年度其他关键字的排名,然后计算每一年的排名变化。

观察前三个带有柱状图的选项,然后我们将展示一个包含数据的表并讨论结果。

这是上文中方法1对应的2019年图表,显示Python出现在近75%的列表中。

image.png

这是上文中方法2的图表,显示了2018年至2019年职位列表中某项技能需求的变化。AWS显示上升了5%。在2019年和2018年上市的公司中,这一比例分别为19.4%和14.6%。

image.png

这是上文方法3对应的图表,显示了每年的百分比变化。2018年,PyTorch上榜职位需求数平均增长了108.1%

image.png

以下是上述图表中的信息用表格形式展示的结果,按2018年至2019年上榜职位比例在三家网站平均后的变化百分比排序。

image.png

稳居榜首的python,落寞的R

在不到14个月的时间内技术需求发生了相当大的变化!

优胜者

Python仍然排名第一。到目前为止,它是最常用的语言。几乎霸占了四分之三的榜单,与2018年相比,Python使用量有了可观的增长。

image.png

SQL使用量快速提升。它几乎快要超过获得第二高平均分数的R语言。如果继续保持该趋势,SQL很快将成为真正的第二。

image.png

杰出的深度学习框架得到了广泛使用。PyTorch在所有关键字中的增幅最大,Keras和TensorFlow也表现出色。Keras和PyTorch在排名中均上升了4位,TensorFlow上升了3位。请注意,由于PyTorch的起始平均值较低,TensorFlow的当前平均值仍是PyTorch平均值的两倍。

image.png

image.png

image.png

数据科学家对云平台技能的需求越来越大。AWS的出现频率高达20%,Azure约10%。Azure在排名中跃升了四位。

image.png
image.png

落败者

R语言的总体平均下降幅度最大。基于其他调研,这一趋势不足为奇。Python显然已经取代R成为数据科学的首选语言。 尽管如此,R仍然非常受欢迎,出现在55%的榜单中。如果您熟悉R语言,请不要沮丧,但如果您想要掌握需求量更大的技能,请考虑学习Python。

许多Apache产品受到欢迎,包括Pig,Hive,Hadoop和Spark。Pig的排名下降了5位,比任何其他技术都下降得多。Spark和Hadoop仍然是人们普遍希望掌握的技能,但是我认为,转向其他大数据技术已经成为一种趋势。

专有的统计软件包MATLAB和SAS使用量急剧下降。 MATLAB在排名中下降了四位,而SAS从第六位下降到第八位。与2018年的平均水平相比,两种语言均出现了大幅下降。

推荐一个学习路径

如果你刚开始从事数据科学,我建议你专注于需求增长和有发展潜力的技术,并且每次只专心学习一种技能

以下是我推荐的学习路径:

  • 学习Python以掌握常规编程;
  • 学习pandas来进行数据操作;
  • 通过Scikit-learn库学习机器学习;
  • 学习用于高效查询相关数据库的SQL;
  • 学习Tableau以进行数据可视化;
  • 关于云计算平台,基于AWS的市场份额,它是一个不错的选择;
  • 学习一个机器学习框架,Keras现在与TensorFlow紧密结合,因此它是一个很好的起点,PyTorch也在迅速发展。

这是我的总体学习路径建议。按照你的需要各取所需吧。

相关报道:

https://towardsdatascience.com/the-most-in-demand-tech-skills-for-data-scientists-d716d10c191d

目录
相关文章
|
11天前
|
存储 JSON JavaScript
【chat-gpt问答记录】python将数据存为json格式和yaml格式
【chat-gpt问答记录】python将数据存为json格式和yaml格式
26 1
|
12天前
|
存储 索引 Python
Python基础第五篇(Python数据容器)
Python基础第五篇(Python数据容器)
|
10天前
|
数据采集 Web App开发 数据挖掘
使用Python和BeautifulSoup轻松抓取表格数据
使用Python和BeautifulSoup,结合代理IP,可以从网页抓取表格数据,如中国气象局的天气信息。通过requests库发送HTTP请求,BeautifulSoup解析HTML提取表格。安装必要库后,设置代理IP,发送请求,解析HTML找到表格,提取数据并存储。通过Pandas进行数据分析,如计算平均气温。这种方法让数据抓取和分析变得更加便捷。
使用Python和BeautifulSoup轻松抓取表格数据
|
11天前
|
数据采集 Web App开发 数据处理
一步步教你用Python Selenium抓取动态网页任意行数据
使用Python Selenium爬取动态网页,结合代理IP提升抓取效率。安装Selenium,配置代理(如亿牛云),设置User-Agent和Cookies以模拟用户行为。示例代码展示如何使用XPath提取表格数据,处理异常,并通过隐式等待确保页面加载完成。代理、模拟浏览器行为和正确配置增强爬虫性能和成功率。
一步步教你用Python Selenium抓取动态网页任意行数据
|
1天前
|
数据采集 JSON 数据可视化
【Python实战】Python对中国500强排行榜数据进行可视化分析
【Python实战】Python对中国500强排行榜数据进行可视化分析
|
6天前
|
存储 数据挖掘 Python
使用Python集合高效统计Excel数据
使用Python集合高效统计Excel数据
19 7
|
2天前
|
JSON 数据可视化 API
技术心得:如何用Python和API收集与分析网络数据?
技术心得:如何用Python和API收集与分析网络数据?
10 2
|
5天前
|
机器学习/深度学习 算法 Python
Python 使用SMOTE解决数据不平衡问题(最新推荐)
SMOTE是一种强大的过采样技术,可以有效地处理不平衡数据集,提升分类器的性能。通过imbalanced-learn库中的SMOTE实现,我们可以轻松地对少数类样本进行过采样,平衡数据集。在实际应用中,我们可以根据具体数据集的特点和需求,选择合适的过采样方法。
|
6天前
|
数据可视化 Python
Python中的数据可视化:在数据点上添加标签
Python中的数据可视化:在数据点上添加标签
21 3
|
11天前
|
Python
Python列表推导式是一种简洁的创建新列表的方式,它允许你在一行代码中完成对数据的操作和转换
【6月更文挑战第19天】Python列表推导式是创建新列表的简洁语法,它在一行内处理数据。表达式如`[expr for item in iterable if cond]`,其中`expr`是对元素的操作,`item`来自`iterable`,`if cond`是可选过滤条件。例如,将数字列表平方:`[x**2 for x in numbers]`。嵌套列表推导处理复杂结构,如合并二维数组:`[[a+b for a,b in zip(row1, row2)] for row1, row2 in zip(matrix1, matrix2)]`。简洁但勿过度复杂化。
21 5