企业IT架构转型之道:阿里巴巴中台战略思想与架构实战. 2.5 为真正发挥大数据威力做好储备

简介:

2.5 为真正发挥大数据威力做好储备

如今,“大数据”成为近年来在互联网、IT业界最为炙手可热的名词,很多人甚至将企业互联网转型的期望完全寄托到了大数据上,这也就是为什么越来越多的企业纷纷上马大数据项目。我个人坚信,大数据接下来会是展现企业核心竞争力并挖掘新商业模式,从而改变世界的强大技术推动器。但我发现很多大数据项目在实施落地时因为各种问题和原因,从结果来看项目带来的成效并没有达到企业实施大数据项目的预期,其中有以下两个问题尤为凸显:

数据分布广、格式不统一、不标准。也还得归咎于“烟囱式”系统建设方式,使得相关业务领域的数据分布在不同的系统中,比如企业的会员信息可能分别存放在天猫、微信公众号、自建电商等不同的平台中,而且系统在各自建设时都基于各自开发团队对业务的理解建设相关的数据模型,造成相关业务的数据模型和标准不统一,这就为大数据平台项目初期数据的抽取和同步带来很多的复杂工作:数据层访问的打通、数据权限的控制、数据格式的转换、数据清洗、数据同步等。而这一系列的工作必然也对项目的整体实施带来了不小的风险。

缺少能基于数据有业务建模能力的专家。不管使用何种平台构建大数据平台,这些大数据平台在平台计算能力、算法种类的数量上存在或多或少的差异,但真正要发挥出这些大数据平台威力的重点还是要围绕着业务场景,也就是要有人知道怎么利用大数据平台发挥出真正的业务价值,这是很多大数据平台难于落地或真正让企业感受到大数据带来价值的最大障碍。理论上,企业的业务部门应该有这样的业务专家能提供这样的业务需求,但实际情况是,能基于对业务的理解提出对大数据平台需求的专家在企业中凤毛麟角,就算对业务有足够精湛的理解,但对大数据的能力和算法又很难完全弄清楚;而大数据平台的专家又往往只是对自身的大数据平台功能、算法和使用了如指掌,但对于企业的业务又没有深入的了解,更谈不上对业务进行分析预测。从而最终导致的结果就是企业花费了巨资搭建的大数据平台,但苦于没有合适的应用,而让大数据平台空有一身武艺,而无用武之地。

以上两大原因造成了大多数大数据平台项目所展现的业务价值不尽如人意,如何很好地解决以上两个问题?我认为共享服务体系是解决这两大问题的不二法门。

回顾前面章节中的内容,如果我们相关业务领域(如用户、商品、交易等业务)在业务和数据层做了很好的融合,这样既能将业务的数据在系统运行中就进行了很好的规整和沉淀,并且每一个服务中心提供的数据均是质量非常高的业务数据。这样在进行大数据项目实施时为了获取完整的、有质量的业务数据所做的一系列工作均可以在很大程度上避免和简化。

对于“缺少能基于数据有业务建模能力的专家”的问题,我认为很难寄希望于业务部门能培养出这样的专家,这样的人所需要具备的专业素养要求非常高,如今兴起的叫“数据科学家”正是这类专家的代名词,一个优秀的数据科学家需要具备的素质有:懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。看看这样的素质要求,这类人才对于任何一个企业来说都是难寻的。如何走出这类人才缺乏的困境?我认为企业应该自我培养,靠从外部找寻此类人才可称得上是可遇可不求。而共享服务体系能很好地帮助企业信息部门培育出懂业务的专家,这些人员自身在拥有不错的技术功底的同时,逐步提升业务上的能力,具备这样能力模型的人员才有希望成为能发挥大数据平台价值的“数据科学家”。

从阿里巴巴的阿里指数(如图2-5所示,早期叫“淘宝指数”,是典型的大数据应用)的发展就能看出,共享服务体系对于大数据项目建设的贡献和支持。在2009年共享业务事业部成立后,将阿里巴巴集团几大电商平台的用户、商品、交易等业务沉淀为了几大服务中心,随着集团对电商平台中各业务指标越来越关注,阿里巴巴开始打造自己的大数据平台,基于现有的共享业务事业部各服务中心的数据,很快就构建了早期的淘宝指数平台,可以从各个维度(用户、区域、行业等)展现出各种业务指数,为集团和商家的业务决策和营销策略提供了最有力的支持。

 

图2-5 淘宝指数

对于那些计划实施大数据项目的企业,如果还没有想清楚如何通过大数据平台的建设给企业带来真正的业务价值,可以先从共享服务体系的打造入手,对企业自身的业务在阵型上做一次优化和调整,为将来大数据平台真正威力的展现准备好高质量、统一的业务数据,培养出兼具技术功底和精通业务的复合型人才。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
37 2
|
1月前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【2月更文挑战第31天】 随着数字化转型的加速,云原生技术已经成为推动企业IT架构现代化的关键力量。本文深入探讨了云原生架构的核心组件、实施策略以及面临的主要挑战。通过分析容器化、微服务、DevOps和持续集成/持续部署(CI/CD)等关键技术,揭示了如何利用这些技术实现敏捷性、可扩展性和弹性。同时,文章还讨论了企业在采纳云原生实践中可能遇到的安全性、复杂性和文化适应性问题,并提供了解决这些问题的策略和建议。
|
1月前
|
运维 Cloud Native 持续交付
云原生架构的未来演进:打造灵活、高效的企业IT基础
随着数字化转型的不断深入,企业的IT基础设施正经历着从传统架构向云原生架构的根本转变。本文将探讨云原生技术的最新发展趋势,分析其在提高业务敏捷性、降低运维成本以及促进技术创新方面的关键作用。我们将重点讨论如何借助容器化、微服务、DevOps和持续交付等核心技术,构建一个能够适应快速变化市场需求的云原生生态系统。通过实际案例分析,揭示企业在迁移到云原生架构过程中面临的挑战与解决策略,为读者呈现一幅云原生技术赋能企业未来的蓝图。
|
1月前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
随着企业加速其数字化进程,云计算已成为支撑创新和灵活性的基石。本文深入探讨了云原生架构如何为企业提供敏捷性、可扩展性和成本效益,以及它如何成为支持现代应用程序开发和服务交付的核心。我们将分析云原生的关键组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps文化,并讨论这些技术如何协同工作以提高企业运营效率和响应市场变化的能力。此外,我们还将审视采用云原生架构的潜在挑战和克服这些挑战的策略。
|
1月前
|
监控 Cloud Native 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
【2月更文挑战第30天】 随着企业加速其数字化转型步伐,云原生架构已不仅仅是一种趋势,而是一种必然。本文将探讨云原生技术如何为企业提供必要的敏捷性、可扩展性和弹性,以支持不断变化的市场需求。通过深入分析容器化、微服务和持续集成/持续部署(CI/CD)等关键概念,我们将揭示这些技术如何协同工作,帮助企业实现快速迭代和高效运营。
|
1月前
|
运维 Cloud Native 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
【2月更文挑战第30天】 随着企业加速其数字化转型步伐,云原生架构作为支撑现代应用开发、部署及运维的先进模式,已成为推动创新与实现敏捷性的关键技术。本文将探讨云原生技术的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和动态编排,并分析这些技术如何共同作用以支持企业的敏捷运营。通过深入剖析云原生架构的优势及其在不同行业中的应用案例,文章旨在为决策者提供实施云原生解决方案的洞见,以加速其业务增长并优化用户体验。
|
1月前
|
运维 Cloud Native 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
【2月更文挑战第30天】 随着企业加速迈向数字化,云原生架构已成为支撑其转型战略的核心技术之一。本文深入探讨了云原生技术如何通过提供灵活、可扩展的解决方案,助力企业在竞争激烈的市场中保持敏捷性和创新能力。文章分析了云原生架构的关键组件,包括容器化、微服务、持续集成/持续部署(CI/CD)等,并讨论了这些技术如何协同工作以提高企业的运营效率和响应速度。此外,文中还将展示云原生实践案例,以证明其在实现业务目标方面的有效性。
|
15天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
40 0
|
16天前
|
运维 Cloud Native 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【4月更文挑战第10天】 随着数字化转型的不断深入,企业对信息技术基础设施的要求日益提高。云原生架构作为一种新兴的设计理念和技术集合,以其灵活性、可扩展性和容错性,正在成为推动企业技术革新的关键力量。本文将探讨云原生技术的核心组件、实施策略以及面临的主要挑战,并分析如何通过采纳云原生架构来优化业务流程和提升服务效率。

热门文章

最新文章