业界丨身为数据科学家怎么能不掌握这四大技能!

简介:

想成为一名高级数据科学家除了拥有卓越的专业技能,你还需要其它技能来拉近和业务经理的距离。这看起来简单,但随着每年新技术的不断累积,技术和业务之间的距离会继续增大。因此,我们发现管理者和数据科学家有清晰的合作方向是非常重要的。

7c6ef9e03720e91bea3c7e7d1ff97d0c350088a8

业务和IT知识都是十分专业的,然而由于技能的专业化,许多企业都出现了两个专业间的空白。我们的任务是帮助填补它!

数据科学家必须有技术方面的扎实基本功,这包括编程、查询、数据清洗等。然而随着数据科学家的成长,他们需要更多地关注设计决策以及与管理者的沟通,这会大大增强经验丰富的数据科学家的影响力。他们可以做出更高层次的决策,并帮助陷入困境的年轻数据科学家,而不是被困在日复一日的编码中。更有经验的数据科学家能利用他们的经验来做出简化复杂系统、优化数据流的设计决策,同时协助决定哪些项目最为恰当,这使得数据科学家自身及其公司都能有更大获益。

能够做到化繁为简

数据科学家往往希望将他们所知道的每一种技术和算法都应用于每一个问题的解决方案上。相应地,这就会使系统非常复杂难以维护。

数据科学确实需要复杂抽象的模型及大量的复杂技术(从Hadoop到Tensorflow)。在这个充斥着复杂性的领域,人们会倾向于开发复杂的系统和算法,稍不留神就会在开发中涉及四、五种不同的技术并使新的热门算法或框架。然而,像大多数涉及工程的其他领域一样,减少复杂性往往会带来诸多好处。

7e911a48aaa837cdecf26fb79605ecfb741ef473

如果冯•诺依曼,埃尔温•薛定谔和爱因斯坦可以帮助我们理解数学和物理驱动领域的复杂性,那么我们数据科学家不能隐藏在复杂性背后。

工程师的角色就是去简化任务。如果你曾经建造或看到过鲁布•戈德堡机械(Rube Goldberg machine),你会理解什么是用复杂方法去完成简单任务。一些数据科学家的算法和数据系统看起来像是用胶带和口香糖粘起来的老鼠夹,而不是简洁有效的解决方案。更简单的系统意味着随着时间推移系统会更加容易维护,并且未来的数据科学家能够按需添加和删除模块。但若你使用三种不同的语言,两个数据源,十个算法且没有留下任何文档资料,未来的工程师可能会默默诅咒你哦。

简单的算法和系统也应使添加和删减模块是容易的。因此当需要技术进行改变和更新或者需要删除模块时,可怜的未来数据科学家不会陷入和你的代码一起玩叠叠乐积木游戏(Jenga)的困境 。但会纠结于“如果删了这段代码,系统会不会崩溃”。(这一纠结的根源是怕出现技术债务)

知道如何在没有主键的情况下关联匹配数据

强大的数据专家能做的重要工作之一是:将可能没有主键或明显联系的数据集关联在一起。数据可以呈现人之间或业务之间的日常交互。能够在这些数据中找出统计模式,是数据科学家可以帮助决策者作出明智决定的重要能力。然而,你想要关联在一起的数据并不总是位于相同的系统或有着相同粒度。

与数据打交道的人会知道,数据并不总是很好的整合在一个数据库中。比如,财务数据与IT服务管理数据通常是分开存放的,外部的数据源往往可能并不是在同一个维度进行的聚合。这会成为一个问题,因为找出数据中的价值有时确实会需要来自其他部门或系统的数据。

fad15672648ed21234a54d7eddaff1ff7f320467

数据啮合是需要在相同的粒度级别上进行的。一种理解的方式是:将一块大拼图与由许多小块数据拼图组成的大拼图组合起来。

例如,假如给你提供了医疗保单、信用卡和社区犯罪率的数据,想由此找出这些社会经济因素如何影响病人,你会怎样处理?一些数据可能是以人为单位,而另一些数据可能是街道或城市级别,而且没有明确的方式来关联这些数据集。最好的处理方式是什么?这成为了一个不能忽视且必须被解决的问题

对项目进行优先排序

作为数据科学家,你需要知道如何解释可能不划算的项目的投资回报率(ROI)。这与良好的直接沟通有关(我们的团队永远不会停止讨论如何沟通),也与能够清楚表达价值并且对长短期目标进行优先排序有关(重申一遍,说起来容易做起来难)

团队总是会有超出他们处理能力的过多的项目和项目要求。有经验的团队成员需要起带头作用来帮助决策者决定哪些项目是值得进行的。在有很大机会成功但可能不会有最高投资回报率的短期项目和很有可能会失败但同时也会产生较大投资回报率的长期项目之间需要有一个良好的平衡。

这种情况下,决策矩阵会有助于简化过程。

经典的决策矩阵之一是一个2*2矩阵,行和列分别为重要性和紧迫性。多数的大学商业课程中都会出现这种矩阵,它很简单,这也是它很棒的原因。

我曾在公司和一些很聪明的人共事,但还是工作中的每个项目都被列为优先。如果你没听过这个说法,我会在这里讲出来:

如果每件事都被优先考虑,那么,相当于没有事情被排在优先。

f74cf32189c3a44ae8921ab94acad602a348653e

选择正确的项目意味着必须做出取舍。不是所有的事情都是高优的。

许多公司都存在这个问题,这就是为什么对于数据科学家团队中有经验的成员,能够清晰表达出哪些项目需要当下执行还是以后执行是非常重要的。而使用这个简单的矩阵能带来一定帮助。

(简洁十分重要,使用矩阵来明确投资回报率是有帮助的)。

有了简明直接的沟通,项目继续向前推进,信任也随之建立起来了。

能够开发出稳健且最优的系统

做出能在受控环境中操作的算法或模型是一回事。将稳健模型集成到实时且能处理大量数据的系统又是另一回事。根据公司的不同,有时数据科学家只需开发算法本身,之后开发人员或机器学习工程师会负责将其转为上线的产品。

然而还会有其他的情况,小的公司和小的团队可能会需要数据科学家团队来将代码转为上线产品。这意味着算法需要能以合理的速度控制数据流量。如果算法要运行三个小时并且需要被实时访问,这显然不能在产品上使用。因此,良好的系统设计及优化是必要的。

38ff426118d9cab2c20333a3e9814629edde462d

随着数据增多,越来越多的人会与系统交互,模型跟上脚步是十分重要的。

当高级数据专家的技术能力和其他能力相结合时,才能对他们自身和其公司产生最大的影响。数据科学家宝贵的经验是非常有价值的,这些经验能够指导年轻的开发人员做出更好的设计决策,帮助管理者找出哪些项目会带来最好的投资回报率,从而也放大了他们的参与对于团队的影响。


原文发布时间为:2018-01-31

本文作者:深夜赶稿的

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
存储 安全 区块链
swap博饼交易所开发项目(详情规则)|区块链去中心化交易所系统开发
区块链技术采用分布式存储和共识机制,使系统更加抗攻击、安全和可靠。
|
9天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
3638 14
|
10天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
3954 43
|
10天前
|
iOS开发 Docker MacOS
【2026实测】Docker Desktop下载、安装、汉化、配置教程(附官网安装包)
Docker Desktop 是 Docker 官方推出的桌面容器管理工具,集成引擎、CLI、图形界面与 Kubernetes,支持 Win/macOS/Linux。2026 最新版 4.88.1 强化 ARM 原生运行、镜像加速及资源可视化,附中文汉化与国内镜像配置指南。
1814 6
|
5天前
|
云安全 人工智能 安全
|
5天前
|
存储 弹性计算 人工智能
2026 年阿里云双十一活动入口攻略,新客服务器优惠通道、三大会场入口梳理
综合来看,2026年阿里云双十一活动入口清晰: 阿里云轻量应用服务器、阿里云ECS云服务器、阿里云GPU云服务器、阿里云百炼大模型服务平台 活动会场、综合权益中心、99计划专场三大入口覆盖服务器、AI权益与续费特价;新用户通过控制台首页banner、权益中心、产品页三处路径进入专属专场,老用户通过控制台弹窗和费用中心权益中心进入老客专区,企业用户做企业实名后解锁专属满减与阶梯折扣。
626 0
|
4天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
810 1
|
11天前
|
安全 算法 定位技术
《高性价比人生指南》完整原版:普通人用最少的资源,过好这一生的底层逻辑~How To Live Better
📖《高性价比人生指南》是一份基于实证、拒绝焦虑的生存手册,倡导以“人生时薪”为视角,重新计算时间、金钱与精力的成本与收益。它不承诺逆袭,只教人算清账:省下的钱若耗掉时间便亏;买体验比买物品更值;睡眠是最高杠杆的健康投资;关系贵在情绪价值而非表面热络;学习重在改变行为而非自我安慰。核心理念:用低成本、高回报的微小行动,换取长期的选择权——不是成为谁,而是掌控自己人生的主动权。
2101 4
|
云安全 安全 网络安全