打造顶级大数据团队的几个“偏方”

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 出人意料的是,音乐人才、物理学家和工商管理人士能为大数据团队带来全新的视角。   你的企业正在打造数据科学团队吗?首先,你应当从业务部门抽调专家来提出正确的问题。


出人意料的是,音乐人才、物理学家和工商管理人士能为大数据团队带来全新的视角。

 

你的企业正在打造数据科学团队吗?首先,你应当从业务部门抽调专家来提出正确的问题。然后考虑招募一些物理学家、音乐人才,当然,还有统计人才和计算机科学家。

 

这些才是顶级大数据团队的关键“配方”,至少管理咨询与技术顾问公司Booz Allen的战略创新部门副总裁乔什沙利文是这么认为的。沙利文的部门负责帮助客户开展数据分析项目,在这个过程中沙利文看到太多企业犯下相同的错误。

 

“大多数企业只知道招聘计算机科学家,因为他们认为大数据是一个技术问题,但他们错了,”在接受媒体采访时,沙利文说道:

 

我们问客户的第一个问题是:你准备向数据分析系统提出什么样的问题?而不是你需要如何去编写代码。你首先需要有创造力和好奇的人。

 

Booz Allen组件数据科学团队的第一步是确保团队成员包括数学与统计人才、计算机科学专家和企业各业务领域专家。其中业务专家非常关键,他们是确保大数据分析产生商业价值并提升企业决策的关键环节。

 

值得注意的是,大数据团队中的业务专家需要与业务部门进行岗位轮换,帮助企业所有业务部门都意识到大数据团队的存在,同时需要将数据团队中的业务专家送回到业务岗位,他们将成为数据驱动的企业经营管理方法与文化的布道者。

 

太多企业为特定部门或者业务线组件专门的分析团队,这些团队常常无法从企业的整体业务出发考虑问题,同时这也会滋长“数据保护主义”,部门间各自囤积数据,并为数据分享设置障碍。

 

另外一个令人质疑的做法是在研发团队内囤积分析专家,使他们很难接触到业务部门。

 

陶氏化学在这方面就做得非常好,其数据科学家团队与业务专家肩并肩合作,开发出新的业务成本模型仅仅在货运和原材料两个环节就帮助公司节省了数十亿美元。

 

在统计专家和计算机科学家之外,沙利文的部门还成功地将物理学家和音乐专业人士引入数据分析团队,这听上去有些古怪。实际上,这两类人才为数据分析团队带来了全新的观点和方法。例如物理学家带来了从猜测、假设到实验的一整套科学验证方法,而音乐专业人才则具备“惊人的创造力和量化技能”。

 

当数据分析团队在处理多种数据的时候,非常类似交响乐作者编配多种乐器的过程,而这方面音乐人才是最在行的。例如在一个医药公司的数据分析项目中,需要混搭不良药物反应数据、社交媒体数据、研究注释、实验室数据和分子数据。在大数据分析出现之前,从来没有人会将这么多不同来源的数据整合到一起。事实证明,在音乐人才的帮助下,这些数据形成了完美的“合奏”,并最终帮这家药企优化了药物研发的优先级。

 

在最近的一个项目中,沙利文的团队帮助一家航空公司实施的大数据项目证明了大数据的商业价值。在这个大数据项目中,旅客的行程、路线、票价、目的地、载客量历史数据与体育赛事日程、传统节日、学校假期、旅客人口统计和社交媒体数据整合到一起分析。

 

以上这些数据航空公司有很多对应的BI仪表盘和PDF报告工具,但航空公司们从来没想到过将这些数据综合起来分析。结果证明,这样的大数据分析能帮助他们优化航班时刻表和票价,每年增加数千万美元的收入。

 

数据分析团队多元化的优势在大数据众包平台Kaggle上得到最佳体现。在那里,不乏天文学家、对冲基金金融工程师、经济学家以及数学家甚至律师提出能击败企业内部数据分析团队的更好的分析方法/算法。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
机器学习/深度学习 运维 算法
|
7月前
|
机器学习/深度学习 运维 算法
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
近日,由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。
|
机器学习/深度学习 分布式计算 算法
腾讯大数据将开源高性能计算平台 Angel,机器之心专访开发团队
随着近年来深度学习技术的发展,各种机器学习平台也纷纷涌现或从专用走向了开源。到现在,一家科技巨头没有一个主导的机器学习平台都不好意思跟人打招呼。比如谷歌有 TensorFlow、微软有 CNTK、Facebook 是 Torch 的坚定支持者、IBM 强推 Spark、百度开源了 PaddlePaddle、亚马逊也在前段时间高调宣布了对 MXNet 的支持。 现在,腾讯也加入了这一浪潮。在 12 月 18 日于深圳举办的腾讯大数据技术峰会暨 KDD China 技术峰会上,腾讯大数据宣布推出了面向机器学习的「第三代高性能计算平台」——Angel,并表示将于 2017 年一季度开放其源代码。
489 0
腾讯大数据将开源高性能计算平台 Angel,机器之心专访开发团队
|
数据可视化 JavaScript 算法
大数据时代的特种兵:阿里数据产品团队
你可能用过数据魔方、淘宝指数、淘宝时光机这些好玩的产品,为其对大数据的运用点赞,或许你还对阿里巴巴在大数据这领域所做的工作感到好奇。在这里,Segmentfault 给大家来介绍一下这些炫酷产品背后的团队:阿里数据平台事业部数据产品团队。
516 0
大数据时代的特种兵:阿里数据产品团队
|
自然语言处理 监控 搜索推荐
大数据团队从2到3
其实从3.0阶段开始,团队的升级路线就比较分散了,依赖于各公司对于数据团队职能的定位和期待。
423 0
大数据团队从2到3
|
机器学习/深度学习 分布式计算 DataWorks
9大训练营免费开营!阿里云大数据团队的独门绝学全在这了
即日起,阿里云大数据训练营九营齐开!理论与实践,概念与案例,大数据从0到1上手学习,行业大神真人带练!
3250 0
9大训练营免费开营!阿里云大数据团队的独门绝学全在这了
|
机器学习/深度学习 分布式计算 DataWorks
|
大数据 流计算 运维
大数据团队从1到2
1.0阶段的核心是数据分析,把大数据离线计算的整套流程和框架搭建起来,后续就是不断在框架中加入新的业务、新的需求了。但是1.0阶段的数据是T+1的,即每天、每周、每月定时计算的,快一点儿的有每小时、甚至每5分钟的,都是离线数据,实时性不足。2.0阶段重点加强的,就是实时计算领域。
1167 1
|
大数据 BI 数据挖掘
大数据团队从0到1
“大数据”这个词,大家都已经不陌生了,已经从一个新兴的词汇变成了一个百姓茶余饭后都会聊到的概念。各种大大小小的互联网公司也都会创建自己的大数据团队,我也曾经在多家公司从事过大数据领域的开发和团队管理工作,这里写一下我自己的经历和感受。
2317 1