数据科学家和工程师:各霸一方,一旦联手,所向披靡

简介:


我们都可以独立工作

但若联手,便所向披靡


结对编程是指特地安排两名软件工程师坐在同一台工作站前,共同进行工作。


我参与了数百场技术讲坛、公司宣讲等活动遇到的第一个问题都会是为何我会热衷于结对编程的工作形式。我的回答是:高效稳定学习好,质量更可靠,没有信息孤岛,结对让工程师真正帮到彼此。我在Pivotal公司最大的办公室有125对,也就是250名工程师从事结对编程,所以我对此非常清楚。


由于结对编程的这些优势,让我们想要在公司将其从高强度学习扩展至机器智能领域。



结对是最有效的学习方法


结对编程是快速创造高质量产品的最好方法,将机器智能元素融入产品,更不会拖你的后腿。


把数据科学家与工程师结成对子,将会使工程师快速具备机器学习研究的能力,让工程师如虎添翼,同时,数据科学家也有机会了解自己的研究成果是如何应用的,还可以写一些代码,做出产品雏形。


如此一来,每个人都能看到系统全局,而不会囿于自身专业的一隅。合作的两个人都能深入理解产品是如何端到端工作的,并尝试更快地构建系统。最重要的是,工程师和数据科学家互相帮助,取长补短,破解难题,所向披靡。


如果是两个工程师结对的话,彼此持续分享知识,省去了过多的头脑风暴会议。结对的做法源自于人类社会属性,因而能令人持续专注。工程师能够在一起互学互助,心无旁骛地每天工作超过8小时,简直就像在玩Facebook和看搞笑视频一样。


最终,代码的质量就会提高。要知道,代码的行数其实是越少越好。当两名工程师一起写代码的时候,他们能够互相交流,最终你会发现代码质量在飞速提高。


Ben Rady: 如果所有的工程师都结对了,他们每个人的代码数量不是减半了么?


数据科学家过于学术化


经验丰富的软件工程师和数据科学博士们,像是来自于两个完全不同的世界,他们创新和解决问题的方法是大相径庭的。数据科学家通常热衷于深入研究而比较少去接触实际问题,他们善于开发新的机器学习理论,但并不会把这些理论用到实际产品中去。


与之对比鲜明的是,很多工程师对机器学习很有兴趣,但是没有接受过理论培训或专业学习。在这一点上,我认为工程师并不需要博士学位才能有效应用机器学习。特别是,当他们能够和博士们并肩工作的时候,他们就能够快速积累相关知识。如此说来,还有什么学习方法比与专家共事更为有效呢?


对我们来说,结对就意味着打破理论和实践之间的壁垒。我们认为,数据科学家不应该在一个产品研发环境中进行纯理论研究。研究的终极目的是为了将其成果付诸于产品。只有机器学习使我们的用户受益,方能体现出我们的价值。


孤立的团队无法获得成功


曾经(甚至现在),很多公司会设立独立的研究团队。这个团队会将孤身奋战,那些伟大的想法,可能要十年以后才能实现。到最后,只有少部分成果会慢慢地转化为实际产品,而大多数成果可能就此湮灭,很多研究实验室的工作就是这样令人扼腕。


这样的做法是有缺陷的,它把产品开发的研究阶段和应用阶段割裂开来。数据科学家得不到足够的反馈,而工程师也有很多客观限制,无法把研究转化为实际产品。一旦你把研究成果堆在墙角,产品设计理念也就无法实现,因此,这个方法必须改变。


结对编程,使我们能够立即将学术理论以非常灵活的方式付诸于实践。一些初创公司让机器智能专家独立于其他团队工作,这些专家大门不出二门不迈,根本没有真实客户信息来验证自己的想法。而我们恰恰反其道而行之,结对编程使我们能够将最新的机器智能理论快速用于实际场景。


在Helpful公司,我们整个团队的工程师和数据科学家都是结对工作的。我问过一些之前没有结对编程经历的工程师,在这里感觉如何。他们回答说,第一,颇具成果;第二,学习力Max。有一名工程师说,我现工作能够全情投入,并且大家也已经习惯于结对来解决问题,整个团队充满活力。


在Michael Lewis的新书 中,他采访了Daniel Kahneman关于他与Amos Tversky合作荣获诺贝尔奖项的事情。Daniel再度将此成果归功于他们之间的关系,归功于他们结对工作,在关键思想中互相支持,最终创建了行为经济学。Kahneman的回答非常简洁:我们可以独立工作,但若联手,即为天才。

原文发布时间为:2017-02-06

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
存储 数据管理 关系型数据库
分布式系统设计之套路Master-Slave架构
分布式系统设计之套路Master-Slave架构
2225 0
|
存储 小程序 Unix
《操作系统真象还原》——0.28 MBR、EBR、DBR和OBR各是什么
MBR和EBR是分区工具创建维护的,不属于操作系统管理的范围,因此操作系统不可以往里面写东西,注意这里所说的是“不可以”,其实操作系统是有能力读写任何地址的,只是如果这样做的话会破坏“系统控制权接力赛”所使用的数据,下次开机后就无法启动了。
4671 0
|
3月前
|
人工智能 安全 Java
Claude Code通过Java LSP杀入Java生态,通用Agent和专属引擎差在哪
2026年,Claude Code推出Java LSP插件(基于Eclipse JDT.LS),支持Java 1.8–24,提供语法检查、智能补全、重构等能力,显著提升编码效率。Stripe实践显示其代码库理解力强,4天完成万行Scala→Java迁移。但通用Agent聚焦编码环节,工程全链路(需求分析、接口/表设计、质量保障、文档生成等)仍需Java专属工具如飞算JavaAI协同互补。
|
5月前
|
存储 人工智能 数据库
新手用户购买阿里云服务器有哪些省钱方法?云服务器购买省钱攻略参考
本文基于老用户经验,总结了初次购买阿里云服务器的一些实用省钱技巧:一是利用新用户身份,以38元/年起抢购轻量应用服务器,或以99元/年、199元/年购经济型e实例和u1实例;二是领取优惠券、企业AI算力补贴等专项优惠;三是紧盯双11、618等大促及日常限量秒杀活动;四是根据业务需求精准选型,避免配置浪费;五是选择华北6、华南2等性价比更高的地域;六是长期业务选包年包月并尽量延长购买周期;七是善用购物车合并结算,关注续费同价政策;八是合理规划带宽,利用活动折扣锁定低价带宽,避免后期溢价。综合运用这些策略,可在保障业务需求的前提下有效控制上云成本。
新手用户购买阿里云服务器有哪些省钱方法?云服务器购买省钱攻略参考
|
5月前
|
人工智能 运维 API
TokenOps:AI 调用成本从失控到可控的技术框架
黄仁勋称工程师年薪50万,却要花25万在AI Token上——揭示AI成本正从人力转向算力。Uber烧光全年AI预算、微软停用外部工具、账单碎片难追踪……企业正面临“能调不能管”的困境。TokenOps应运而生:实时计量、精准归属、动态预算,让AI调用从失控走向可控。
342 2
|
机器学习/深度学习 编解码 文字识别
医疗票据OCR图像预处理:印章干扰过滤方案与代码实现
医疗票据OCR技术能自动提取票据中的关键信息,但在实际应用中面临多重挑战。首先,票据版式多样,不同医院、地区的格式差异大,需借助动态模板匹配技术来应对。其次,图像质量参差不齐,存在褶皱、模糊、倾斜、印章遮挡等问题,常通过超分辨率重建和图像修复算法处理。此外,手写体识别、复杂业务逻辑理解(如医疗术语和费用规则)以及数据安全与隐私合规要求也是技术难点。 为应对这些挑战,快瞳系统采用“OCR基础识别 + NLP语义修正”的混合架构,并结合深度学习模型(如CRNN、Transformer)来提升准确率和泛化能力。该技术能显著提升医保报销、保险理赔等场景的效率,是推动医疗信息数字化管理的重要工具。
1189 5
|
5月前
|
人工智能 安全 BI
从落地视角拆解企业Agent三层落地骨架
本文揭示企业Agent落地常见误区,提出经数百家校企验证的标准化三层架构:模型层(决策大脑)、Skill层(业务经验库)、执行层(落地手脚)。三层解耦设计兼顾安全可控、降本增效与老旧系统兼容,助力企业突破POC瓶颈,实现AI规模化投产。
280 0
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
大模型应用:医疗视角看脑电图新应用:大模型让脑电波直观的表达.79
本文介绍脑电图(EEG)与大模型融合的前沿应用:无需开刀,仅通过头皮电极采集脑电信号,即可实时解码“想喝水”“想说话”等大脑意图,并转换为自然语言文字。该技术突破传统诊断边界,已在渐冻症沟通、神经康复和脑机交互中落地,兼具无创性、实时性与临床实用性。
443 17
|
7月前
|
人工智能 安全 JavaScript
无需命令行 OpenClaw Win11 一键部署实操讲解(包含最新版安装包)
OpenClaw(小龙虾)是GitHub星标28W+的开源本地AI智能体,支持Windows 11一键部署——零代码、免配置、解压即用。全程离线运行,保障隐私安全,可自动操控电脑、整理文件、浏览器自动化等,新手5分钟快速上手。
|
人工智能 自然语言处理 测试技术
Apipost 与 Apifox 深度对比:谁是 API 开发的最佳拍档?
在 API 开发中,Apipost 与 Apifox 是两款流行的国产工具。本文通过实际项目的对比发现,Apipost 在 AI 功能方面表现突出,如 AI 自动生成文档、测试用例、脚本等,显著提升开发效率。基础功能上,Apipost 也更全面,支持离线使用、OpenAPI 格式导出、多种协议及数据库字典导入,界面简洁易用,综合性能优于 Apifox。
722 5