美国数据分析科学家带你看看大数据的未来

简介:

ZD至顶网CIO与应用频道 10月08日 评论消息:从SGI的首席科学家John R. Masey在1998年提出大数据概念,到大数据分析技术广泛应用于社会的各个领域,已经走过了17年的时间。现在再也没有企业怀疑大数据分析的力量,并且都在竞相利用大数据来增强自己企业的业务竞争力。但是,即使17年过去,大数据分析行业仍然处于快速发展的初期,每时每刻都在产生新的变化。

从概念到实用、从结构化数据分析到非结构化数据分析,大数据分析技术在不断地进化。虽然国内仍然在关注舆情分析,但是记者注意到,在美国,大数据分析的研究已经进入到了一个全新的阶段,“预测分析”技术成为最具有代表性的未来技术方向。

那么,“预测分析”技术和传统的大数据分析有什么不同?记者就此采访了美国数据分析科学家、前北卡大学夏洛特分校助理敎授、夏洛特视觉中心主任以及非结构化数据智能分析平台Taste Analytics的CEO,Derek Wang(汪晓宇)博士。

大数据行业爆发,现在的技术不够用了

汪晓宇博士正好经历了整个大数据产业爆发的全过程。他和记者回忆说,在2010年的时候,来他们夏洛特视觉中心进行交流的还仅仅是大公司的数据硏究员,2011年已经变成了公司的主任,而到了2012年,来的几乎全是CIO和CTO们了。他们甚至还为企业开了一门数据分析的进修课程,讲座虽然只有两天,但注册学费几千美金,学员们全都是来自国内各大公司的资深高管。

从这可以看出,在这个数据时代,中美都在用尽一切办法实现数据上领先的概念和追求。而在这技术飞速发展的几年间,数据本身呈现出了不少新的特点,市场也相应地对大数据分析技术提出了新要求。

首先,数据点越来越多,也越来越碎片化。

在汪晓宇博士看来,大数据时代就是人的时代,数据形态越来越丰富和多样。除去社交网站等传统数据点以外,新形态的数据点也已经出现,比如Airbnb和Uber这种O2O服务。如果再看远一点,随着可穿戴设备、物联网等先进设备和个人的信息结合起来,随时随地产生和收集数据更加成为可能。

在这样的情况下,每个人随时随地的“情绪”和“状态”这些都会成为商家必须要重视的数据源。

与此相对应的,非结构化数据分析将越来越重要。而非结构化数据的模块化更加灵敏,不是传统的单一解决方案可以做到的。这导致人们在进行大数据分析时使用的工具将更加细化,利用垂直创新的工具进行非常纵深的研究将成为主流。

其次,大数据分析技术成为了决定社会服务效率的关键。

有报道指出,随着信息技术的发展,包括公共服务、物流等在内的人们衣食住行的服务会纷纷电子化,虚拟世界和物理世界的边界将进一步模糊。这个大的产业背景一旦形成,大数据分析能力就将成为整个产业服务最关键的竞争力。

这样就意味着,大数据分析工具应该越来越实用化。汪晓宇博士介绍说,在面对新的技术和工具时,美国企业高层都会迅速做出决断,考虑怎么把数据分析和现有业务进行快速整合。他举例说,在他们和美国一家大型银行合作时,对方的CIO就可以迅速做出反应,和他们探讨应该怎么把他们开发的创新型非结构化数据分析技术应用到自家银行某一个产品中去。

决定下一代大数据产业的新技术:“预测分析”

在这样的数据特点和市场要求下,中国和美国各大公司和科研中心都在大力投入,研发下一代数据分析技术。但是,在这方面,美国还是有着3-5年时间的领先。

根据汪晓宇博士的分析,国内在科研上的眼光很高,水平层次力度都在,但是商业化不行,研发出来转到应用上和美国有一定差距。中国大部分公司对于大数据分析的概念还停留在“舆情分析”的阶段,但是美国已经跨越“舆情分析”和“情感分析”,进入到了“预测分析”阶段。

由汪晓宇博士一手打造的Taste Analytics团队,就在进行“预测分析”技术的研发。它摆脱了传统的“舆情分析”和“情感分析”的框架,更进一步,把人们在社交网站和其他平台上产生的数据都收集起来,进行实时、全面地分析,帮助企业建立用户的立体形象,了解他们的品味和喜恶,从而提供预测性地判断。

这听来似乎和传统的“推荐系统”、类Clickstream分析有些类似,但是实际上完全不同。

首先,传统的“推荐系统”会需要一个很长的建立过程,也就说,它需要很多强相关的、相似的历史数据,才有可能实现推荐功能。比如它只能根据你买电饭锅的行为,才能向你推荐其他厨具。

但是企业怎么能在一开始就知道,顾客想要买电饭锅呢?这就是“预测分析”的强大之处。它不需要这样的历史数据,而是直接通过人们在社交网络上的留言和在各大平台上留下的信息,来进行预测。也就是说,当你在社交网络上留下类似“好想在家做饭”的状态,系统就有可能已经知道你想买厨具了。

汪晓宇博士举例说,“预测分析”技术发展成熟的话,就会非常接近美国科幻电影《少数派报告》里的情景——它会根据你在网络留下的痕迹,来理解你的性格、行为、情绪,来建立一个随时更新的、立体的形象。无论是HR、企业、客服、公共机构,都可以根据这些信息来提供真正的前瞻性、个性化的服务。

其次,Clickstream无法解决冷启动的问题,而且很难精准到个人、到细节。

Clickstream分析技术的实现,是通过不同的cookie,来追踪人们的点击,它无法解决的是冷启动过程中数据的缺乏。比如你第一次登陆优酷,没有任何观看记录,系统应该怎么进行推荐呢?而且,人们的误点击操作很有可能就被系统追踪下来,进行了错误的分析。

但是这对于“预测分析”技术就不是问题。通过对各大社交平台上的多重语义分析和叠加验证,一个人的具体形象已经建立起来:这个人比较保守,不喜欢暴力,最近正在谈恋爱……那么这时,向他推荐浪漫喜剧就会非常对味。

“我们在做的,就是在集合的范围上进行分析。”汪晓宇博士说,“以前的技术是告诉你们人们在‘说什么’,现在我们已经进化到人们在行动之前‘有什么感觉’。这个核心技术的突破,就能实现对于整个数据分析市场的革新变化。”

再次,“预测分析”比起传统的大数据分析方法,可以更好地实现人机互动。

尽管人工智能非常火热,但是汪晓宇博士仍然指出了这项技术的局限性:它的可控性很差,没有依靠人的能动力。在他看来,大数据分析应该更好地利用人机互动的机制,来发挥最大功用。

汪晓宇博士介绍说,以前的数据分析技术,机器只能做到一半,到后面的时候还需要人来负责数据输入。但是现在他们在研究的“预测分析”技术,可以把大范围的用户数据总结集成在一起,自动给出结果。人和机器的互动,将主要在于洞察内涵、提供反馈,让机器知道人的倾向。这就是新型的人机互动先进所在。

“比如说,某个产品本来定位年轻人,但是机器通过收集数据进行分析,发现它在中年人之间更受欢迎,那么人就可以来调整产品的市场定位,做出加大在中年人群体中加大宣传的决策。这就是非常典型的人机互动。”汪晓宇博士说。

中国为什么没有出现“预测分析”技术?

作为美国最前沿的大数据分析技术,“预测分析”仍然处在研发的早期阶段,各家公司都在发力,想要在这个方向上取得领先地位,技术挑战仍然非常大。

预测分析最大的难度在于精准度。汪晓宇博士说,精准度越高,系统就越能把人的性格全面呈现出来,而且会在不同时间地点下进行分析,做出一个高维的性格理解。要实现这个精准度,光是数据挖掘方面就会有很大挑战,而且在面向不同客户时,比如企业、HR、公共服务等,还要把影响他们的特征分别提取出来,这又把难度上升了一个层次。

目前,汪晓宇博士已经在带领Taste Analytics团队在打造这样的“预测分析”系统,而且,他透露,目前他们向特定的几个企业提供了试用版本;而他们提供的非结构化数据分析服务,也就是“预测分析”的基础,已经被6家福布斯全球500强公司以及多家美国主流企业使用,并通过实践“实时分析”、“数据驱动”(Data-driven)、“人机互动”等最新的数据分析理念,为新的“预测分析”系统提供研究基础和进一步的反馈。

“美国市场上现在领先的数据分析公司,都只精专一点。”汪晓宇博士说,“这也是行业进化到一定程度的结果,因为其实每一个环节都很难,没有一个数据分析公司是可以把所有的都做完;但是反过来,精细化研究才可以激发更多创新。”

反观中国市场,仍然在流行SAP、SAS这类的整体解决方案。虽然这些方案可以覆盖到数据分析的基本方面,但是却失去了对数据的深入挖掘能力,也就错失了数据分析的新机会,进一步来说,就很难诞生类似“预测分析”这样领先的研究。

“中国企业也应当大胆尝试新工具。如果总是寻求旧的解决方案,那么企业将无法真正挖掘出数据的价值。”汪晓宇博士说,“到时候,不仅是预测分析,中美在大数据分析技术和商业应用上的整体差异还将进一步扩大。”

原文发布时间为:2015年10月8日
本文作者:硅星闻
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL 存储 分布式计算
如何使用MaxCompute进行数据分析?
【5月更文挑战第6天】如何使用MaxCompute进行数据分析?
22 1
|
1月前
|
存储 大数据 数据挖掘
python数据分析——大数据和云计算
大数据和云计算作为当代信息技术的两大核心驱动力,正在以前所未有的速度改变着我们的生活、工作和思维方式。它们不仅为各行各业的创新提供了强大的技术支持,更是推动了整个社会的数字化转型。 从大数据的角度来看,它的核心价值在于通过对海量数据的收集、存储、分析和挖掘,发现其中的关联性和趋势,从而为决策提供更为科学、精准的依据。无论是商业领域的市场预测、消费者行为分析,还是公共服务领域的城市规划、交通管理,大数据都发挥着不可或缺的作用。同时,随着物联网、传感器等技术的普及,大数据的来源和种类也在不断扩展,这使得我们能够更全面地认识世界,把握规律。
60 1
|
1月前
|
算法 大数据 数据挖掘
python数据分析——大数据伦理风险分析
大数据伦理风险分析在当前数字化快速发展的背景下显得尤为重要。随着大数据技术的广泛应用,企业、政府以及个人都在不断地产生、收集和分析海量数据。然而,这些数据的利用也带来了诸多伦理风险,如隐私泄露、数据滥用、算法偏见等。因此,对大数据伦理风险进行深入分析,并采取相应的防范措施,对于保障数据安全、维护社会公平正义具有重要意义。
75 0
|
1月前
|
分布式计算 Hadoop Java
【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)
【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)
76 1
|
1月前
|
数据采集 数据可视化 数据挖掘
【大数据实训】基于当当网图书信息的数据分析与可视化(八)
【大数据实训】基于当当网图书信息的数据分析与可视化(八)
141 0
|
1月前
|
数据采集 分布式计算 数据可视化
【大数据实训】基于赶集网租房信息的数据分析与可视化(七)
【大数据实训】基于赶集网租房信息的数据分析与可视化(七)
104 0
|
12天前
|
分布式计算 DataWorks NoSQL
MaxCompute产品使用合集之一张表如果想只保留近七天的数据,应该如何设置
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
数据采集 DataWorks 定位技术
DataWorks产品使用合集之开发环境执行离线同步不立即更新数据,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
11天前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之是否支持创建OSS外部表为分区表,并访问OSS上以分区方式存储的数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
11天前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之数据源同步时,使用脚本模式采集mysql数据到odps中,使用querySql方式采集数据,在脚本中删除了Reader中的column,但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

热门文章

最新文章