一张图看懂数据科学家、数据工程师和软件工程师之间的区别

简介:

大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢?

国外 ETL 服务商 Stitch 的 CEO Jake Stein,近日对这个话题进行了总结。他还绘制了一张工具图,来呈现他们在日常工具使用上的不同。对于新手,也可以通过这张图来看典型的“数据科学家”、“数据工程师”和“软件工程师”都要掌握哪些工具。

Jake Stein:随着数据的爆炸式增长,对数据处理的专家技能需求也随之井喷。这带来的结果之一,是更精细的分工。对于数据管理工作的核心角色:数据科学家、数据工程师和软件工程师,过去几年见证了他们越来越清晰的定位。

对于新兴职位“数据工程师”,它算是“软件工程师”下面新浮现出的一个子类别。单列出该职位是一项英美近年来的趋势。但在许多公司,迁移、管理数据仍旧是软件工程师的活。

一张图看懂数据科学家、数据工程师和软件工程师之间的区别

三种数据职位的不同技能需求

职能概括

软件工程师

软件工程师干的活儿是开发应用和系统。这过程中的每一个环节,从设计、写代码、测试到检查,开发者都要参与。生成数据的产品都是他们开发的。软件工程是三个角色中最古老的一个,并且有相当成熟的方法体系和工具库。

工作内容包括:

  • 前端、后端开发

  • 网页应用

  • 移动应用

  • 操作系统开发

  • 软件设计

数据工程师

数据工程师需要开发能对数据进行整合、存储和提取的系统,并从软件工程师开发的应用和系统中获取数据。数据工程的诞生,是作为软件工程大类下的一个更细分的技能类别。据雷锋网了解,根据国外统计,40% 的数据工程师原本是软件工程师。雷锋网获知,这是目前一个很普遍的职业发展道路(软件工程师专注做数据工程)。

工作内容包括:

  • 高级数据结构

  • 分布式计算

  • 并发程序设计

  • 使用 Hadoop, Spark, Kafka, Hive 等新工具

  • 开发ETL/数据流水线(data pipelines)

数据科学家

数据科学家的职责是基于数据作分析。

或许有一只想要更好理解消费者行为的团队,仅仅做一个单次分析。也可能是开发一个机器学习算法,然后将之在软件工程师和数据工程师开发的代码基础上执行。

工作内容包括:

  • 数据建模

  • 机器学习

  • 算法

  • 商业智能的 dashboards

这些角色定位仍在进化之中。有些大公司从软件工程团队中拉出数据工程师,组建一支中央数据团队。这样,基础设施和数据分析工作能在一起。雷锋网(公众号:雷锋网)获知,有些案例中,数据科学家既需要做数据分析,也需要做数据整合。




本文作者:三川
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
3月前
|
SQL 存储 前端开发
数据库系统概念(第二周 第一堂)
数据库系统概念(第二周 第一堂)
|
负载均衡 架构师 网络协议
一名架构师,懂点硬件知识不过分吧?
一名架构师,懂点硬件知识不过分吧?
98 0
|
监控 数据可视化 测试技术
软工导第一节课 计算机软件工程学作一个简短的概述,回顾计算机系统发展简史 软件工程的基本原理和方法有概括的本质的认识,详细讲解生命周期相关知识讲解8种典型的软件过程模型
软工导第一节课 计算机软件工程学作一个简短的概述,回顾计算机系统发展简史 软件工程的基本原理和方法有概括的本质的认识,详细讲解生命周期相关知识讲解8种典型的软件过程模型
236 0
软工导第一节课 计算机软件工程学作一个简短的概述,回顾计算机系统发展简史 软件工程的基本原理和方法有概括的本质的认识,详细讲解生命周期相关知识讲解8种典型的软件过程模型
|
SQL 缓存 架构师
谈谈架构师是何种生物
架构师也可以分为初级、中级、高级三档,江湖上真正高水平的软件架构师就更少了。 所以,大部分(超过九成的)码农干上许多年,还是做不了架构师,这是什么原因造成的呢? 什么是架构师? 写代码和做架构是两个不同的事情。什么是架构师,架构师要做什么事情,为什么 Java 的领域里,会更注重架构师? 很早很早之前,我对于架构的概念一点都不理解,依稀记得,架构( architecture)这个词,来自于建筑领域。
156 0
谈谈架构师是何种生物
|
安全 算法 程序员
高效能程序员的修炼札记:安全基础,保护用户数据
高效能程序员的修炼札记:安全基础,保护用户数据
131 0
|
架构师
为什么大部分人做不了架构师?这2点是关键
阿里妹导读:选择有时候比努力重要,真正厉害的人不仅仅是埋头苦干,而是会利用好的思维方式、好的方法,看穿事物的本质,顺势而为,找到事情的最优解,并懂得举一反三。架构师是程序员的目标之一,但大多数程序员无法成为架构师。
|
机器学习/深度学习 语音技术
为了让机器听懂“长篇大论”,阿里工程师构建了新模型
本研究我们提出了一种改进的前馈序列记忆神经网络结构,称之为深层前馈序列记忆神经网络(DFSMN)。
684 0
周末荐书 | 重塑组织:进化型组织的创建之道
《重塑组织》提出了一种新的组织模式——进化型青色组织。青色组织突破了橙色组织等同于机器、绿色组织等同于家庭的弊端,将组织构建为一个有机的生命系统,一方面能够实现自主管理、灵活进化,驱动真实自我不断地成长;另一方面,又能避免过度讲求感性、多元、感觉行事的弊端,切实提高决策的水平。
1110 0