企业IT架构转型之道:阿里巴巴中台战略思想与架构实战. 2.5 为真正发挥大数据威力做好储备

简介:

2.5 为真正发挥大数据威力做好储备

如今,“大数据”成为近年来在互联网、IT业界最为炙手可热的名词,很多人甚至将企业互联网转型的期望完全寄托到了大数据上,这也就是为什么越来越多的企业纷纷上马大数据项目。我个人坚信,大数据接下来会是展现企业核心竞争力并挖掘新商业模式,从而改变世界的强大技术推动器。但我发现很多大数据项目在实施落地时因为各种问题和原因,从结果来看项目带来的成效并没有达到企业实施大数据项目的预期,其中有以下两个问题尤为凸显:

数据分布广、格式不统一、不标准。也还得归咎于“烟囱式”系统建设方式,使得相关业务领域的数据分布在不同的系统中,比如企业的会员信息可能分别存放在天猫、微信公众号、自建电商等不同的平台中,而且系统在各自建设时都基于各自开发团队对业务的理解建设相关的数据模型,造成相关业务的数据模型和标准不统一,这就为大数据平台项目初期数据的抽取和同步带来很多的复杂工作:数据层访问的打通、数据权限的控制、数据格式的转换、数据清洗、数据同步等。而这一系列的工作必然也对项目的整体实施带来了不小的风险。

缺少能基于数据有业务建模能力的专家。不管使用何种平台构建大数据平台,这些大数据平台在平台计算能力、算法种类的数量上存在或多或少的差异,但真正要发挥出这些大数据平台威力的重点还是要围绕着业务场景,也就是要有人知道怎么利用大数据平台发挥出真正的业务价值,这是很多大数据平台难于落地或真正让企业感受到大数据带来价值的最大障碍。理论上,企业的业务部门应该有这样的业务专家能提供这样的业务需求,但实际情况是,能基于对业务的理解提出对大数据平台需求的专家在企业中凤毛麟角,就算对业务有足够精湛的理解,但对大数据的能力和算法又很难完全弄清楚;而大数据平台的专家又往往只是对自身的大数据平台功能、算法和使用了如指掌,但对于企业的业务又没有深入的了解,更谈不上对业务进行分析预测。从而最终导致的结果就是企业花费了巨资搭建的大数据平台,但苦于没有合适的应用,而让大数据平台空有一身武艺,而无用武之地。

以上两大原因造成了大多数大数据平台项目所展现的业务价值不尽如人意,如何很好地解决以上两个问题?我认为共享服务体系是解决这两大问题的不二法门。

回顾前面章节中的内容,如果我们相关业务领域(如用户、商品、交易等业务)在业务和数据层做了很好的融合,这样既能将业务的数据在系统运行中就进行了很好的规整和沉淀,并且每一个服务中心提供的数据均是质量非常高的业务数据。这样在进行大数据项目实施时为了获取完整的、有质量的业务数据所做的一系列工作均可以在很大程度上避免和简化。

对于“缺少能基于数据有业务建模能力的专家”的问题,我认为很难寄希望于业务部门能培养出这样的专家,这样的人所需要具备的专业素养要求非常高,如今兴起的叫“数据科学家”正是这类专家的代名词,一个优秀的数据科学家需要具备的素质有:懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。看看这样的素质要求,这类人才对于任何一个企业来说都是难寻的。如何走出这类人才缺乏的困境?我认为企业应该自我培养,靠从外部找寻此类人才可称得上是可遇可不求。而共享服务体系能很好地帮助企业信息部门培育出懂业务的专家,这些人员自身在拥有不错的技术功底的同时,逐步提升业务上的能力,具备这样能力模型的人员才有希望成为能发挥大数据平台价值的“数据科学家”。

从阿里巴巴的阿里指数(如图2-5所示,早期叫“淘宝指数”,是典型的大数据应用)的发展就能看出,共享服务体系对于大数据项目建设的贡献和支持。在2009年共享业务事业部成立后,将阿里巴巴集团几大电商平台的用户、商品、交易等业务沉淀为了几大服务中心,随着集团对电商平台中各业务指标越来越关注,阿里巴巴开始打造自己的大数据平台,基于现有的共享业务事业部各服务中心的数据,很快就构建了早期的淘宝指数平台,可以从各个维度(用户、区域、行业等)展现出各种业务指数,为集团和商家的业务决策和营销策略提供了最有力的支持。

 

图2-5 淘宝指数

对于那些计划实施大数据项目的企业,如果还没有想清楚如何通过大数据平台的建设给企业带来真正的业务价值,可以先从共享服务体系的打造入手,对企业自身的业务在阵型上做一次优化和调整,为将来大数据平台真正威力的展现准备好高质量、统一的业务数据,培养出兼具技术功底和精通业务的复合型人才。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 SQL 监控
数据中台架构解析:湖仓一体的实战设计
在数据量激增的数字化时代,企业面临数据分散、使用效率低等问题。数据中台作为统一管理与应用数据的核心平台,结合湖仓一体架构,打通数据壁垒,实现高效流转与分析。本文详解湖仓一体的设计与落地实践,助力企业构建统一、灵活的数据底座,驱动业务决策与创新。
|
存储 SQL 分布式计算
别让你的数据“裸奔”!大数据时代的数据隐私保护实战指南
别让你的数据“裸奔”!大数据时代的数据隐私保护实战指南
987 19
|
存储 SQL 分布式计算
19章构建企业级大数据平台:从架构设计到数据治理的完整链路
开源社区: 贡献者路径:从提交Issue到成为Committer 会议演讲:通过DataWorks Summit提升影响力 标准制定: 白皮书撰写:通过DAMA数据治理框架认证 专利布局:通过架构设计专利构建技术壁垒
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
1137 1
|
消息中间件 分布式计算 大数据
“一上来就搞大数据架构?等等,你真想清楚了吗?”
“一上来就搞大数据架构?等等,你真想清楚了吗?”
322 1
|
架构师 Oracle 大数据
从大数据时代变迁到数据架构师的精通之路
无论从事何种职业,自学能力都显得尤为重要。为了不断提升自己,我们可以尝试建立一套个性化的知识目录或索引,通过它来发现自身的不足,并有针对性地进行学习。对于数据架构师而言,他们需要掌握的知识领域广泛而深入,不仅包括硬件、网络、安全等基础技术,还要了解应用层面,并熟练掌握至少一门编程语言。同时,深入理解数据库技术、具备大数据实操经验以及精通数据仓库建模和ELT技术也是必不可少的。只有这样,数据架构师才能具备足够的深度和广度,应对复杂的业务和技术挑战。 构建个人知识体系是数据架构师在学习和工作中的一项重要任务。通过系统化、不断深化的知识积累,数据架构师能够有效应对快速变化的商业环境和技术革新,进一
|
SQL 存储 监控
流处理 or 批处理?大数据架构还需要流批一体吗?
简介:流处理与批处理曾是实时监控与深度分析的两大支柱,但二者在数据、代码与资源上的割裂,导致维护成本高、效率低。随着业务对数据实时性与深度分析的双重需求提升,传统架构难以为继,流批一体应运而生。它旨在通过逻辑、存储与资源的统一,实现一套系统、一套代码同时支持实时与离线处理,提升效率与一致性,成为未来大数据架构的发展方向。