近两年,“大数据”被广泛应用,也明显过热,从央视春运迁徙图到两会大数据,它被推到前所未有的高度,也从一个高精尖科研方向变成了营销词汇。
什么是大数据?
Gartner的定义更贴切:大数据是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化信息资产。“新处理模式”是关键,有两层含义:一是海量数据需要更高效的存储和处理技术,Hadoop成为标志;二是大数据不等于Hadoop,它还与数据挖掘和人工智能紧密结合。此外,数据统计是基于已有数据的纵向归类,而大数据基于海量数据,对未产生的数据作出预测和推荐。
预测和推荐如何实现?
推荐算法主要分两类:基于行为和基于内容。基于行为分析用户浏览、点击、收藏、购买等痕迹,综合群体偏好,更符合现实。基于内容则分析文字、图片、音频、视频,与用户偏好匹配,如潘多拉音乐推荐。
大数据能做什么?
大数据帮我们解决决策和选择问题。天气预报是最古老的预测;影视制片中,大数据可预测观众偏好、设计剧情、预测票房,如《纸牌屋》。大数据还解决“选择”问题:面对日益增多的可选项,基于历史行为判断喜好,将最佳结果推荐给你。沃尔玛发现尿布与啤酒常被同时购买,说明数据能发现看似不合逻辑却存在的现象。北京交通信号灯优化也属于大数据范畴。数据统计帮我们发现疾病,大数据还帮我们治疗疾病。
大数据不是万能的
数据质量或数量不够、算法不合适,都会影响价值。海量数据中往往80%—90%无用,只有10%—20%产生价值。冷启动和稀疏性是诸多领域的挑战,且没有放之四海而皆准的算法。
数据的交叉利用
数据打通可解决冷启动和稀疏性问题。将互联网与移动互联网数据打通,能掌握用户多方面信息,为业务提供有效指导。不同来源数据刻画人的不同方面,重新组织才能挖掘更有意义的信息。数据统计并非等于大数据,但重视数据本身就是一个企业成熟的标志。