如何找出企业内部的“暗数据”?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

在自然界中有一种物质叫做“暗物质”,从物理学家的解释来看,“暗物质”是自然界当中最充满能量的部分,如何发挥“暗物质”的作用是当代自然科学研究的话题。而在数据科学领域,人们都在讨论如何发掘隐藏在企业内部和整个互联网上巨量的“暗数据”,怎样发挥“暗数据”的价值。

有一种说法,人类只要利用大脑的 10%,就可以实现长生不老。即便在无数神经学家将其斥为胡编乱造的无稽之谈,多年以后,我们还是不会放弃这种念头,因为我们知道自身还有很多潜力没有发挥,只是有待发掘。同样,许多企业也仅利用了数据的一小部分,而把经过巨大的开销存储着的关于流程、员工、客户和产品的宝贵数据放在数据孤岛中,无法有效利用。我们对数据的挖掘还处在一个非常初级的阶段,可将其称之为“黎明前的黑暗”阶段。

定义“暗数据”

“暗数据”是指企业已付费购买、收集以及存储在各种系统和数据存储中,但实际上目前并未使用、分析甚至访问的所有数据。我们可以将“暗数据”视为大数据的子集,它可以包括存储在 CRM 数据仓库的结构化数据、日志文件甚至来自于社交媒体的非结构化数据等所有数据。

当然,有些企业已经实施数据仓库或者大数据平台,清楚数据的存在,并正在发掘数据的价值,但他们依然存在暗数据的问题。因为实施数据仓库常常是站在IT的角度,对于IT来讲或许已经是可以利用的明数据,对于其它部门,尤其是业务部门如果没有充分有效的利用手段和方式,仍然是“暗数据”。如果您实际上无法利用付费购买的数据,那么最终您就无法对企业的整体行为形成一致观点。这意味着您将无法分析流程、合理配置资源,也无法在系统中找到代表您的专有优势的数据。

“暗数据”产生

显而易见, 没有任何组织主动采取低效、 昂贵和不明智的措施。但一系列新应用程序和大量新数据已使很多公司忽视了他们已经拥有和付费购买的数据。为何会有这么多“暗数据”存在?我们从以下四点来解释:

1、企业甚至没有意识到数据的存在

企业不止有IT部门,还有更多的业务人员、管理决策人员,当他们尝试解答疑难问题或改进工作方式时,会回避寻找并分析自己不熟悉的数据集的挑战,这种情况十分常见。不幸的是,往往由于缺乏技能、时间或能力,他们很难将正确的数据公诸于世,这在日常的工作当中是非常典型的一种场景。举例说明,有些企业表示不清楚到底有多少客户,这是真的吗?回答是否定的,因为现在的企业IT已非常完善,每一笔客户的交易信息都会存在系统当中,或许有些数据质量不是很好,但它们都是存在的,只是企业自己没有意识到。如果这些数据以整个组织都能访问的方式存储,就能为更多业务部门、项目团队提供支持,进而制定更明智的决策,并对更多假设进行测试。

2、企业意识到数据的存在,但不知道具体位置,利用的手段和方法也不足

企业已经建设了很多数据管理系统,知道数据是存在的,但如果组织的数据体系结构或复杂的数据流程起到阻碍作用,那就很难访问数据。如果各个部门都在数据孤岛中工作,并且数据保存在遗留数据存储中,那么即使是求知欲最强的团队也会徒然碰壁。如果没有制定关于存储和管理所有这些数据的整个企业范围的战略,那么组织的决策质量仍将受制于内部组织架构和过时的技术。

3、实际利用数据过于昂贵阻碍了数据使用的效果

即使企业已经发现了所需的“暗数据”,通常也必须面对与在遗留系统上处理这些数据相关的一连串成本问题,如数据利用的环节过长。即便他们通过使用Hadoop此类的新软件架构,在价格较低廉的硬件上复制这些数据来努力避免这些成本,但与迁移流程和获取新技能相关联的初始成本对于单个项目而言,通常仍显得过高。这也造成了很多的数据其实仍然是未被充分使用的状态,仍然隐藏在我们的IT系统和日常流程当中。为了充分利用企业已拥有的数据,需要为更现代化的数据体系结构奠定基础,否则,您仍会继续为数据支付巨额费用,却无法承担对其进行分析产生的成本。

4、某些数据存在遵守法律的问题

如金融、电信、医疗等行业的数据量非常多,但无法将某些数据提供给任何人分析,最重要的原因之一是害怕违反法律法规的要求。对于企业而言,要使其拥有的数据具有意义,需要部署明确定义的流程和工具,以保证这些数据的安全性。Informatica 有专门的解决方案,叫做数据脱敏(Data Masking),保证数据隐私不被泄露的情况下充分利用数据。

公开“暗数据”

既然我们面临着非常多的“暗数据”,那么公开就是它的对立面,叫做数据的透明化,我们期望的结果是企业中所有数据,对企业的任何一个参与者——IT、业务、决策、财务——都是透明的,在他们想分析的时候都能找到所需的数据。

任何企业在发掘数据价值的时候,往往包括三种典型的角色:集成商、IT部门和业务部门。人们常常讨论谁才是数据的主人,一般认为是业务部门,但完成实际操作过程的却是集成商,似乎所有的报表都是集成商来做,所有的分析也是集成商完成。在数据分析数据使用中有一个常常被大家忽略的过程,被称为数据的探索和探查的过程也是由集成商来完成。这其实是业务模式的一个致命弱点,由集成商完成数据探查工作,再根据业务或者IT提的报表分析需求来使用这些数据,使用数据的主体——业务部门并没有参与探索数据,并没有亲身体验分析数据的过程。

业务部门参与数据挖掘对数据价值的实现大小关系密切。如果找集成商来做大数据平台可能也叫BIG DATA,但这个“BIG”很小;假如IT部门能充分参与架构设计和数据的探索过程,这个“BIG”会变得大一点;假如业务部门也参与可能使“BIG”变得更大,数据在企业中的流程也会缩短,业务部门会知道数据的存放位置,“暗数据”问题能够更快解决。

业务部门如何才能自我分析数据,实现自助服务?他们需要一个有效的IT支撑手段,需要IT把暗数据透明化,变成透明的数据。实现数据透明化的一个基础是数据标准化,建立标准化平台。暗数据存在于不同系统中,需要重新格式化、解析、筛选、标准化、整合以及细化,使其为输入到任何分析工具和应用程序中做好准备。

真正释放“暗数据”潜能,让数据见光需要一定的策略变化,除了上述的要启动业务部门的自助服务的能力,以及启动IT部门的标准化构建,还有一个关键点是启动可重复利用“暗数据”的流程。大多数公司所犯的最大错误是认为他们只需对其“暗数据”进行一次深入探究,这可不止是一个一次性的流程。数据只会不断增长,无论是规模、多样性还是价值,提供数据的应用程序的数量和类型也会不断变化,因此,与其一遍又一遍地解决单个“暗数据”项目,应该考虑建立一个可重复的流程。这意味着采用所需技术,建立现代化的基础架构,以使您的所有数据随时可供访问并保持一致,使其保持洁净、安全、互联互通。

“暗数据”并非仅仅表明技术开支效率低下,它还表明企业难以利用其积累起来的丰富知识,“暗数据”是一个有待发掘的潜在金矿。在我国当前新型工业化进程中,提倡大数据的前奏叫数字化,数字化能够贯通各个环节,把原来可能隐藏在工业流程当中的数据释放出来,用数据来描述工业流程,这也成为众多领先企业希望征服“暗数据”的原因所在。

原文发布时间为:2015年8月27日
本文作者:Informatica公司中国区首席技术顾问杜绍森 
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7月前
|
存储
自动化储存系统高层立体货架
自动化储存系统高层立体货架
41 3
|
7月前
[贴装专题] 贴装流程中涉及到的位置关系计算
[贴装专题] 贴装流程中涉及到的位置关系计算
61 0
|
定位技术
巧用千寻位置GNSS软件| 数据链工作状态轻松看
在日常施工中,千寻位置GNSS软件中的「工作状态」功能,可以帮助测绘工作人员查看当前接收机所选择的数据链的作业信息和状态。本期将为各位测友们详细介绍不同工作模式的「工作状态」所呈现的信息。
巧用千寻位置GNSS软件| 数据链工作状态轻松看
|
定位技术
无须任何数据,六十秒快速制作三维影像图用以作为城市空间格局分析的底图
无须任何数据,六十秒快速制作三维影像图用以作为城市空间格局分析的底图
124 0
|
数据采集 机器学习/深度学习 传感器
在2018年影响企业的8个改变游戏规则的数据趋势
在2018年影响企业的8个改变游戏规则的数据趋势
157 0
在2018年影响企业的8个改变游戏规则的数据趋势
|
机器学习/深度学习 人工智能 自然语言处理
攻破“鸡尾酒会”难题,人声分离给生活带来了哪些改变?
试想一下,在一个嘈杂的鸡尾酒会上,同时存在着许多不同的声源:多个人同时说话的声音、餐具的碰撞声、音乐声等等。如何在酒会上分辨出特定人物的声音,这对于我们人类来说十分简单。
攻破“鸡尾酒会”难题,人声分离给生活带来了哪些改变?
|
安全
黑色能量改变攻击策略 利用Word文档 电视台成最大目标
本文讲的是 黑色能量改变攻击策略 利用Word文档 电视台成最大目标,黑客团伙“黑色能量”新一轮鱼叉式网络钓鱼行动瞄准更多乌克兰公司,其中包括一家电视频道。
1417 0