构建大数据分析平台:没有捷径

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

业界专家认为,随着企业越来越依赖于技术,CIO们应该重新定位自己与业务之间的关系。

通过创新、敏捷实践和IT内部划分等各种途径。为了实现这一点,相对于推动部门的转型,CIO们必须面对更为艰巨的挑战。他们需要向业务端显示自己在变革 方面的主导地位。但正如在近期于波士顿举行的大数据创新峰会上所显示的一样,在推动企业的数字化转型上,IT没有捷径可走。

“从总体上说,企业内部的IT组织最重要的任务就是防止故障的发生。”在峰会中的一次讨论中,NBCUniversal Media LLC的分析技术集团高级总监Moin Haque表示:“高层对IT的评估就是,以服务标准协议的形式来检验故障的多寡。在这种情况下,IT并没有进行试验和失败的空间。”但是,Haque的 分析团队则恰恰相反,其使命就是探索和实验,哪怕失败也在所不惜。

NBC的大数据分析平台是IT双重角色的最好例证:IT团队管理着自建的Hadoop平台;Haque的团队则置身于IT之外,通过各种试错来探索价值创 新。由于这两个团队的工作目标和节奏都不一样,Haque认为单独运作会带来明显的好处:“把责任属性从我们团队中去掉,可以让我们更加专注的进行探 索。”

是否外包

对于其他意在构建大数据分析平台的企业,Haque的建议也是如此:“那些能够自行完成或通过合作伙伴实现的工作,可以作为切入点。”实际上,当某位听众问到如何外包或引入大数据项目时,Haque的建议就是从另外的角度进行分解。

Haque表示,可以放到IT团队进行管理,也可以进行外包(如果企业尚不具备相应的大数据技能时)。同时,他也认为,只有在极少数情况下才需要将大数据分析外包出去。

“无论是开发模型还是算法,你都应该尽量走自建的道路。因为这样才能具有真正的独特性,才能使企业更具竞争力。”Haque认为。

人才培育

Chris Simokat是花旗集团的副总裁和大数据分析工程团队首席数据科学家,他同样提出了自己的看法。与其因为技能匮乏而把平台外包,CIO更应该注重内部的 人才发现和培养。“我们平台的起源和核心工程组件,来自于PeopleSoft工程团队的副产品。”Simokat表示。

对于Haque建议对大数据项目分解成更为可管理的模块,Simokat表示了赞同。同时,他认为应该在IT团队内部挖掘人才,对每个细分模块进行管理。即便对于那些已经外包的工作,也应如此。

“否则,就是厂商调查的不尽职,从而无法对工作进行切实的掌控。”Simokat表示。

创新的悖论

CIO和企业都表示在尽力寻找具有创新性思维的人才,但是这其实并不容易。“绝大多数的创新性人才都令人感到棘手,他们总是倾向于改变一切。”联合国助理秘书长和首席信息技术官Atti Riazi表示。她认为没有任何政府部门和企业能够容忍这一点。

Riazi表示,创新,历来都是一把双刃剑,能够解决艰难的问题,也往往导致意想不到的后果。“以互联网为例,已经成为我们生活的一部分,但是同样充斥着种种诸如贩卖人口之类的黑暗面。”Riazi举例说。

Riazi表示这并不意味着CIO们应该拒绝创新。相反,创新是进步的源泉。只不过,她认为听众应该对技术本身进行讨论,尤其是当技术被当作他用时。“提 到技术,我们总是想到硬件、软件、工具和云计算。但是,其中的内涵远不止如此,技术其实和经历、权力、人类的生活乃至环境有关,我们必须就此展开对话和思 考。”

Riazi认为,试图对技术和创新进行管理是错误的,这只会扼杀应有的活力。“那么该做什么呢?把创新看做一种责任。”她说到。

原文发布时间为:2015年11月19日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
2月前
|
机器学习/深度学习 算法 大数据
构建数据中台,为什么“湖仓一体”成了大厂标配?
在大数据时代,数据湖与数据仓库各具优势,但单一架构难以应对复杂业务需求。湖仓一体通过融合数据湖的灵活性与数据仓的规范性,实现数据分层治理、统一调度,既能承载海量多源数据,又能支撑高效分析决策,成为企业构建数据中台、推动智能化转型的关键路径。
|
5月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
3月前
|
存储 SQL 分布式计算
MaxCompute x 聚水潭:基于近实时数仓解决方案构建统一增全量一体化数据链路
聚水潭作为中国领先的电商SaaS ERP服务商,致力于为88,400+客户提供全链路数字化解决方案。其核心ERP产品助力企业实现数据驱动的智能决策。为应对业务扩展带来的数据处理挑战,聚水潭采用MaxCompute近实时数仓Delta Table方案,有效提升数据新鲜度和计算效率,提效比例超200%,资源消耗显著降低。未来,聚水潭将进一步优化数据链路,结合MaxQA实现实时分析,赋能商家快速响应市场变化。
137 0
|
9月前
|
传感器 人工智能 大数据
高科技生命体征探测器、情绪感受器以及传感器背后的大数据平台在健康监测、生命体征检测领域的设想与系统构建
本系统由健康传感器、大数据云平台和脑机接口设备组成。传感器内置生命体征感应器、全球无线定位、人脸识别摄像头等,搜集超出现有科学认知的生命体征信息。云平台整合大数据、云计算与AI,处理并传输数据至接收者大脑芯片,实现实时健康监测。脑机接口设备通过先进通讯技术,实现对健康信息的实时感知与反馈,确保身份验证与数据安全。
|
8月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
611 58
|
12月前
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
208 5
|
12月前
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
185 3
|
9月前
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
8月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
712 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目