如何才能将蕴藏于大数据内的潜能全部释放出来

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

如果没有适当的信息治理机制作为支撑,企业很可能与有价值分析结论失之交臂。

如何才能将蕴藏于大数据内的潜能全部释放出来

早在近三十年前,Sam Walton在创建沃尔玛这一全球零售巨头企业时就已经确立了大数据技术兴起的必然性。沃尔玛利用商品条形码收集复杂的消费者信息,这不仅为其带来了巨大的商业及市场竞争优势、同时也使沃尔玛成为了数据管理领域的先驱者。时至今日,Facebook、谷歌以及Amazon等企业都开始利用面向数据的收集、汇总以及分析机制帮助自身制定商业战略。如此一来,他们能够更具说服力地将大笔资金投入技术及流程方案,进而更透彻且更及时地掌握消费者购买模式并理解客户及用户的观点与情绪动态。在此基础上,数据分析技术帮助这些企业优化促销活动、改善客户体验、提升产品组合并迎来更多其它极具竞争优势的显著收益。

由于具以上种种切实回报,很长一段时间以来大部分企业开始纷纷推出自己的“大数据”技术举措。不过就当时的情况看,只有其中极少部分能够提供必要的资源来创建出真正的数据驱动型运营体系。然而时至今日,大数据解决方案的实施成本已经进入合理区间,这意味着来自不同行业、各种规模的企业——包括公共事业部门——都能够从大数据及分析机制当中获得收益。换句话来说,这是一场新时代下的竞赛,比的就是谁能更充分地利用数据内的有形价值并借此获取竞争优势。但话说回来,大家的企业真的已经准备好迎接数据泛滥这一新难题了吗?残酷的现实告诉我们,答案很可能是否定的。

大部分企业所采用的都是复杂性较高的异构分布式运营模式。在组织机构内,各种举措独立推出、技术各自部署、信息逐条收集。我们几乎很少看到一种具备集中性与统一性的数据收集方案,这意味着企业陷入了由大量非连接信息存储体系所构成的迷宫当中,而且这些信息几乎很难以有意义的方式加以共享。企业中的某个部门也许根本不知道其它部门到底在使用哪种信息管理机制,这将直接导致其在处理合规性与记录保存问题时遭遇资源浪费、政策一致性缺失以及流程重复等弊端。此外,企业收集的信息总量越大,这一问题就越严重、越具破坏性。

我们不妨考虑可能由此带来的难题,如果一家企业打算收购另一家完全使用不同类型CRM与ERP系统的公司,那么结果会如何?大量内容重复的联系人数据库可能带来数量庞大的非必要通信,并令客户对企业的能力及水平产生怀疑。由于对于存储在被收购对象的CRM及ERP系统中的信息内容缺乏了解,买方公司很可能会在收到发现请求时忽略掉这类系统。同样,一旦政府给出管理要求发生变化,买方虽然有意认真将其贯彻到收购对象的数据当中,但却可能受到数据认知水平的限制而无法被全面覆盖、进而带来潜在的违规可能性甚至因此面临罚款。最后,由于拿不出切实可行的方案可清理不必要的信息——也就是所谓“数据碎片”——那么法律条款与合规性要求也就得不到保障,这意味着收购方与被收购方将把一切原有信息保存起来。这不仅会从基础设施构建及维护成本的角度带来高达数十万美元的巨额资金浪费,同时也使企业客户更难找到自己所需要的高价值信息。

要应对上述难题或者其它更为复杂的状况,最理想的解决方案在于采取全面的信息管理机制,从而在业务、法律、合规与IT等部门的不同需求及流程之间找到平衡点。要实际这个目标,企业需要以自上而下的方式来开发出一套信息治理(简称IG)规程。

信息治理

信息治理规程的目标非常简单,但其实现过程却往往没那么容易:

  •  将信息的全部相关者纳入考量,包括商业用户、法务人员、信息管理记录(简称RIM)、隐私与安全以及IT部门等等,并将其整体创建为一套单一的集中化规程。
  •  
  • 开发必要的流程并部署必要的技术方案,从而改进数据质量、评估现有以及新型信息技术能够为利益相关者带来的实际价值。其中必须包括能够遵循法律及合规要求的信息识别及保留机制,且需要符合各类新型隐私条例对于信息管理的要求。
  • 消息数据孤岛并缓解其彼此之间的沟通障碍,从而保证以集中化方式进行信息管理。
  • 在整个企业体系内部创建一套面向信息资产的通用型参考词库。
  • 随着信息生命周期的推进、其访问需求也将不断下降,因此需根据实际情况将信息移动至成本较低的存储层。
  • 根据企业运营所在司法辖区内的适用法律条款指导数据片段的管理事务。

在大多数企业当中,人们可能并不认同这类任务繁重的协调性尝试以及对新型技术方案的投资决策,这往往导致相关项目预案遭到冷遇甚至无疾而终。但是从历史角度来看,无所作为才是风险的主要根源,而成功的信息治理规程需要在企业内得到高层管理团队的直接支持。考虑到这一点,许多企业正在积极物色优秀的首席数据官(简称CDO)——这一职位通常负责领导大数据相关项目——并由其担任信息治理计划的主要推动者。

将信息治理工作纳入CDO权限极具实际意义。毕竟,CDO的最大愿望就是从数据分析工作中获得精确可信的结论,而质量糟糕的数据将使这一切成为空谈。作为高管团队中的一分子,CDO是理解信息治理实际需求并将其纳入企业文化体系的最理想人选。成功的信息治理项目绝不仅仅是提供必要的技术与流程方案。让相关人员为其所创建的信息负责才是将信息治理性转型真正贯彻到整个企业当中的根本性前提。

目前人们已经开始越来越多地对这一观点表示认同。举例来说,根据Gartner公司发布的一篇新闻稿,Gartner将CDO职位定义为“一位负责打理企业内整体数据与信息战略、治理、控制、政策发展以及高效运用等事务的高层领导者。CDO这一角色需要负责信息保护与隐私、信息治理、数据质量与数据生命周期管理等事务,并切实将数据资产转化为商业价值。”

那么这是否意味着担任CDO的人选必须拥有信息治理工作背景?这倒不一定。尽管这样的背景积累确实值得肯定,但其并不足以证明该CDO在其主要分析工作中已经切实了解到信息治理的价值所在。输入分析引擎的数据的实际质量决定着最终输出结果以及据此制订出来的决策的准确性。简而言之,高质量输入才能高质量输出(简称QIQO)。作为CDO,他们需要掌握信息治理机制所能带来的价值与效益,以领导者身份将合适的团队与技术方案落实到位(或者与现有团队进行协作),只有这样才能最终迎来成功。

在非数据驱动领域当中,企业中的高层管理者们往往纯粹凭借着自己的智慧与洞察力进行工作,并借此克服措施不力、信息质量低下或者质量内容不一致等负面因素的束缚。但如今情况已经不同于以往。企业无法在大数据时代之下凭借依靠着差距显著而且管理不善的数据基础设施继续茁壮成长。如果能够让CDO切实成为信息治理工作的负责人——甚至是个中大师——那么无论是CDO本身还是所在企业都将获得巨大收益。请不要犹豫,马上行动起来


本文作者:核子可乐译

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
存储 SQL 大数据
用实时计算释放当下企业大数据潜能
本文整理自阿里云高级产品解决方案架构师王启华(敖北)老师在 Flink Forward Asia 2023 中闭门会的分享。
332 8
用实时计算释放当下企业大数据潜能
|
2月前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
134 11
|
3月前
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
57 1
|
3月前
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势:解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统,在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及,Spark必将成为企业实现数字化转型和业务创新的重要工具。未来,我们有理由相信,Spark将继续引领大数据处理技术的发展潮流,为企业创造更大的价值。
|
26天前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势