《智能数据时代:企业大数据战略与实战》一3.5 步步为营

简介:

本节书摘来自华章出版社《智能数据时代:企业大数据战略与实战》一书中的第3章,第3.5节,作者 TalkingData ,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.5 步步为营

常言道“千里之行,始于足下”,而创造有效大数据分析程序的过程也符合这一道理。然而,要想成功达成目标,我们需要走的不只是一步。推行大数据分析计划的组织,需要强有力的执行计划来确保分析流程适合自身需求。要想为大数据计划做好准备,选择出将要使用的技术只是旅程的半途。除了确认正确的数据库软件和分析工具以外,相关企业还需要落实技术基础设施,真正为进入下一步骤做好准备,由此才可制定出真切可行的战略。
高效项目管理过程对创建成功的大数据分析程序有至关重要的作用,这一点也是不可忽视的。为确保系统的顺利部署,企业在实施相关步骤时可以参考以下建议。
确定应保留和应删除的数据内容。就其本质而言,大数据分析项目需要使用大规模的数据集。但这并不意味着我们需要分析公司所有的数据源或其中包含的所有信息。组织需要找出在洞察性分析时,能够带来真正价值的战略性数据。例如我们需要哪些信息组合才能了解保留关键客户的要素?或者需要哪些数据才能揭示股票市场交易中的隐藏模式?在规划阶段关注项目的业务目标有助于组织进行必要精确分析,在这些分析完成后相关组织可以并应该努力找出需要哪些数据才能达成上述业务目标。在某些情况下,完成上述过程的确需要涵盖一切数据。但在其他的情况下我们只需利用一部分的大数据即可满足需求。
构建有效的业务规则并克服此类规则的复杂性。如何克服复杂性是大多数大数据分析计划的关键所在。为了得到正确的分析结果,至关重要的是要在处理过程中涵盖以业务为中心的数据所有者,由此才可确保能提前确认所有必要的业务规则。一旦能够确认规则,技术人员就可以评估这些规则所带来的复杂度,以及需要付诸哪些努力才能将输入的数据转换为有相关性且有价值的调查结果。至此我们已经为下一个实施阶段做好了准备。
以协作方式将业务规则转换为相关分析数据。业务规则只是开发有效大数据分析应用程序的第一步。接下来,IT或专业分析人员需要创建产生必要输出所需要的分析查询条目和算法。但具体的行动需要落到实处。查询条目的质量和准确性越高,操作时需要返工的次数就越少。在许多项目中,项目团队和业务部门之间缺乏沟通的情况会导致他们需要不断地进行重复。持续的沟通和协作能大大减少分析开发过程中的坎坷。
制定维护计划。除了最初的开发工作,成功的大数据分析计划还需要持续的关注和更新。定期维护查询条目和始终为业务需求变化做好准备是重要的工作,但它们仅代表管理分析程序的一个方面。数据量会不断增加,业务用户对分析过程的熟悉程度也会不断提升,随之必然会出现更多的问题。分析团队必须能够及时跟进并满足其他的请求。此外,作为大数据分析硬件和软件选项评估过程的一部分,我们需要评估这些软硬件在动态商业环境中能否适应迭代开发过程的需要。只有满足适应不断变化的要求,分析系统的价值才不会随着时间的流逝而流失。
考虑到每一名用户。随着自助式BI功能的热度越来越高,可以认为对最终用户的关注已经成为了大数据分析程序中的关键因素。拥有可以处理大型数据集,同时具备分析结构化和非结构化信息的强大IT基础架构都是相当重要的,但开发好用并且易用的系统也同样重要,这意味着我们需要考虑到用户的各种需求。不同类型的人员——从高级管理人员到操作工、业务分析师和统计人员——会以不同的方式访问大数据分析应用程序并根据自己的需要来使用相关工具以确保其项目整体上的成功。在这种情况下,必须提供不同等级的互动功能,才能满足用户的期望,并让分析工具熟练程度不同的用户都能加以利用。举例来说,通过建立仪表板和数据可视化处理,就能以一种容易理解的方式向并不擅长自行查询大数据分析数据的业务经理和工人呈现调查结果。
没有一种方法可以确保大数据分析的成功。但是遵循一系列框架和最佳做法(包括本文概述的建议举措)可以帮助相关组织维持正确的大数据分析规划方向。大数据安装的技术细节相当繁杂,我们需要对其进行深入的研究和考量。但仅做到这些还不够:我们还必须考虑技术和业务方面的各种问题,才能确保组织能通过对大数据分析的投资获得所期待的结果。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
10天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
14 3
|
13天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
14天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
38 0
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。