大数据分析项目需要慎重而有力的监管

简介:

分析团队的管理者们必须拿捏好指导数据科学家们完成工作,和给予他们能够有效完成工作所需要的空间之间的分寸。

Scotiabank, 是一家总部位于多伦多的金融服务企业,企业内的数据科学家们不附属于任何特定的业务部门。相反,他们是一个独立的团队的一部分——正式的名称为决策科学团 队——为银行内的所有部门提供高级分析。 但独立并不意味着脱离: Andrew Storey,银行的决策科学部门的副总裁, 他和其他管理者们都努力确保团队进行的数据分析项目,对于业务战略和运作是有实用价值的,而不是单纯的抽象练习。

在拉斯维加斯举行的2015 TDWI Executive Summit会议上,Storey说道,“仅仅因为我们能做某事并不意味着我们就必须这样做。” “我们真正需要做的是将自己扎根于业务中,支持他们正在进行的项目。在这样的一个团队内,你很容易脱离现实,所以我们必须保持务实。”

为了帮助优化市场活动,促销方案,产品定价,以及识别不同客户之间的财务关联,Storey希望他团队内的30位分析师在进行客户数据集和定价数据的预测分析,运行数据挖掘应用程序时,能够有创造性。事实上,促进创新文化是他管理一个成功的分析团队的核心原则。“我们应该努力寻找更好的做事方式,”他补充 道,激励他的员工这样做也帮助他留住这些员工。

与此同时,Storey让Scotiabank的业务经理决定他的团队应该探索的领域,或者他与他们共同决定。分析结果需要嵌入到操作系统和流程中,预测模型“是完全无用的,如果我们不基于它而做出决定的话,”他说。

数据分析的解读

团队成员还必须能够向业务高管们解释他们所使用的分析技术和方法, 以获得他们对于结果的认同并使用这一结果。为了设法简化分析过程,Storey引导数据科学家摆脱重复建立预测模型。他鼓励他的团队使用其他行业的金融服务企业和公司的算法,只需调整使其适应银行的需求。

随着大数据分析项目不断扩大数据科学家的工作范围,以及他们分析的各类信息。类似Scotiabank这样的协调方法,在管理分析团队时,是很常见的,并且也变得越来重要,也更具挑战性。

调查结果显示,随着大数据分析项目变得更加普遍,管理分析团队也成为一个更大的挑战。例如, TechTarget的2015年度 IT优先项目的调查结果显示,全世界范围内2212名受访者中的25%,认为他们的企业正计划在今年开展大数据分析项目,位列计划软件项目前5位(参见图 表)。与此同时,2014年6月接受咨询公司Gartner inc .调查的302名业务和IT专业人士中的40%则表示,他们的企业已经对大数据技术进行了投资,相较去年提高了30%;另外有33%的受访者计划在未来的 24个月之内进行投资。

大数据分析项目需要慎重而有力的监管
Mike Lampa,咨询公司Archipelago Information Strategies的总经理,认为协作和合议的方法在管理大数据分析工作时,是必须的。 “我认为正确的心态是你如何指导整个过程,而不是控制它。” Lampa警告说,如果优秀的数据科学家认为他们的工作被过度控制,很有可能对此感到反感,转而在其它地方寻找新的工作。他认为管理者应与他们的团队合 作,将分析工作的重点放在有价值的项目上,在使用数据和审查分析模型时提供明确的指导方针,然后就放手。

分析师掌握主动权

Netflix 公司就对自己的数据科学团队采取了此类管理方法。这家位于加州The Los Gatos的公司使用运行在Amazon Web服务云上的多种系统——包括Hadoop,Teradata公司的数据仓库,亚马逊的Redshift,和Simple Storage Service技术,存储多个PB 数据用于分析客户与其在线流媒体服务之间的互动。

Kurt Brown,Netflix公司数据平台的副总裁,在加州San Jose举行的Strata + Hadoop World 2015 conference上进行演讲,他认为,数据分析师们应该负责建立自己的查询,算法,和模型,他的目标是使他们能够在数据分析项目时做他们想做的,障碍 越少越好。

Brown的平台经理与分析师互相协商,促进开发最佳方法,但他们对于开发工作不会设置障碍。有时 会导致编码错误和数据问题,但是他认为,在Netflix这样的公司内,试图在分析系统中避免错误代码是“徒劳的”。事后,他的一位员工会查找需要清理的 代码,然后将这个信息发送给对此错误负责的分析师,这样他们可以自行修复。 “这不应该是管理者的责任,” Brown说。“这必须是一个共同的责任”。

原文发布时间为:2015年07月20日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
目录
相关文章
|
18天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
3月前
|
关系型数据库 MySQL Serverless
高顿教育:大数据抽数分析业务引入polardb mysql serverless
高顿教育通过使用polardb serverless形态进行数据汇总,然后统一进行数据同步到数仓,业务有明显高低峰期,灵活的弹性伸缩能力,大大降低了客户使用成本。
|
3月前
|
机器学习/深度学习 数据采集 算法
大数据分析技术与方法探究
在当今信息化时代,数据量的增长速度远快于人类的处理能力。因此,如何高效地利用大数据,成为了企业和机构关注的焦点。本文将从大数据分析的技术和方法两个方面进行探究,为各行业提供更好的数据应用方向。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
52 2
|
3月前
|
机器学习/深度学习 人工智能 运维
大数据分析:探索信息世界的钥匙
在当今信息爆炸的时代,大数据分析成为挖掘宝藏般的技术和方法。本文将介绍大数据分析的基本概念、技术与方法,并探讨其在商业、科学和社会领域中的广泛应用。从数据收集和预处理到模型构建和结果解读,大数据分析为我们揭示了信息世界的钥匙,为决策者提供了有力的支持。
|
2月前
|
API
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
105 0
|
3月前
|
数据挖掘
离线大数据分析的应用
离线大数据分析的应用