大数据研究趋于商业化 回顾2016大数据领域成果|

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

2016即将结束,外媒KDnuggets日前针对大数据领域在2016年度取得的重大发展,以及2017年度可能出现的变化趋势,询问了8位行业内的顶级专家。

虽然各位专家的意见不尽相同,但从其发言中大约可以总结出一个共通点:大数据研究正在由前几年的新鲜技术变得越来越普及和商业化。同时,由于研究的向前推进,以数据为基础的人工智能、机器学习和物联网等其他各个领域也将会取得越来越大的成果。

1.CraigBrown,大数据、数据科学、数据库技术领域专家。美国知名的青年导师、科技导师,以及作家。

在2016年,数据科学领域出现了一次大规模的数据增长。这一增长从需求端推动了诸多云计算服务供应商的快速成长,包括亚马逊AWS、微软Azure和Rackspace等。我认为,数据增长的势头将在2017年得到延续。并且,2017年将会出现更多的基于这些大数据研究的应用项目,包括机器学习、认知计算以及预测分析等。不过,随着数据量的增加,应用项目的逐渐丰富,用户的数据安全问题也将变得日益严峻,这一点在2017年也不会有很大改善。2017年,数据科学家、首席数据官、首席数据架构师等职位将变得越来越抢手,岗位职责和定位也会越来越明晰。实时数据流和功能更强大的数据传输通道将彻底颠覆所谓“快速数据”(fastdata)和“可操控数据”(actionabledata)的定义。

总体上说,大数据科学仍然是一个处于不断发展中的学科,在2017年,这一学科一定会迎来比2016年更大的发展。如果把大数据比作一辆汽车的驾驶员,那么在这位驾驶员的带领下,未来基于大数据的各种实际应用项目将会越来越丰富,也即这辆汽车上的乘客会越来越多。

2.JamesKobielus,大数据领域专家,IBM公司大数据研究首席科学家。

分布式框架Hadoop在大数据领域的重要性正在日渐减弱,MapReduce模型、HBase数据库,甚至分布式文件系统HDFS在大数据科学家眼中也远没有从前重要了。

2017年最显著的变化趋势应该来自于程序员群体,他们将越来越关注数据库领域的编程技能,通过这一技能的提升,获得更多的职业发展优势。我认为在2017年,最热门的大数据科学应用项目将会聚焦于流媒体分析、嵌入式深度学习、物联网、聊天机器人、认知计算、自动驾驶、计算机视觉和语音识别等领域。同时,我们也将会看到,新一代的神经网络芯片、GPU和其他的高性能认知计算框架也将在明年得到更大的发展。

3.DouglasLaney,美国著名咨询公司Gartner副总裁,首席分析师。

2016年,大数据领域一个最大的变化就是人们不再谈论大数据了,因为大数据已经充斥了我们的生活,随处可见。现在大家关注的焦点变成了如何将大数据业务化、商用化。在Gartner内部,我们和客户现在谈论最多的问题是如何管理、评估信息资产,以及如何将信息资产变现。

2017年,我们应该努力搞清楚大数据领域几项重要的权利和义务,包括数据的所有权、特权和隐私权,特别是由物联网产生的数据。另外,关于数据能否被视为一种全新形态的资产,这一问题会继续引发会计行业、律师行业和保险行业的困惑。但随着机构投资人和股票分析师们越来越关注一家企业的信息化进程,传统行业的这种困惑将会有所缓解。2017年,各行各业都将会更加关注大数据领域的人才招揽,例如数据经理人和其他的信息整合者。

4.YvesMulkers,知名博客一切皆数据(AllThingsData)博主之一,负责维护大数据板块。

在2016年,大数据这个词似乎不像前几年那样热门。随着大数据相关的基础设施、服务器、软件系统和理论体系的持续发展,目前大数据分析方面的解决方案已经逐渐成熟,并且越来越普及,而不像前几年那样还是少数科技极客眼中的新领域。随着技术的成熟,自助和自动化的信息服务也将越来越受到重视。大数据分析工具和相关的解决方案虽然会变得越来越简单易用,但我们仍然需要具备基本的通信技术和信息处理领域的专业知识,随时准备迎接下一个发展阶段的到来。未来,和机器学习、人工智能、VR/AR、物联网相关的大数据解决方案将越来越完备,摩尔定律的边界也会受到更多的挑战。

5.MarkvanRijmenam,Datafloq网创始人,大数据相关书籍《ThinkBigger》作者。

对于大数据领域来说,2016是令人激动的一年,因为“大数据”终于不再是一个流行词。这说明研究者们正在基于大数据开发真实可用的解决方案和应用程序,而不再是简单的噱头。

2017年,随着技术的进步,以大数据为基础而开发的应用将越来越丰富。由于计算机的计算能力和真实可用的庞大数据量不再是问题,因此以人工智能和深度学习为代表的智能应用也将变得更加聪明,更加普及。总体上说,由于大数据、智能应用和越来越丰富的智能终端产品的出现,2017年应该是值得我们期待的一年。不过,随着大数据的广泛应用,数据安全和隐私问题也将越来越严峻。

6.RonaldvanLoon,Adversitement网站主管,大数据科学领域年度10大影响力人物之一。

今年是大数据科学领域产生重大变化的一年。可以看到,无论是单一学科还是跨学科的用户,在这一年中都在向着以数据驱动为核心的组织架构调整。而且通过物联网的进一步普及,我们已经在某些核心应用场景积累了大数据处理和传输的宝贵经验。另外,由于强大的云计算平台的支持,越来越多的机器学习应用也正在研发之中。

在2017年,这一趋势将得以延续,人工智能、机器学习和物联网应用在大数据的支撑下将迎来一个爆发性的增长。目前,技术研发能力已经就绪,对于市场需求的灵活迭代机制也越发成熟,根据预测,截止2020年,接入互联网的设备总数将达到100亿-340亿之间。

7.JeffUllman,斯坦福大学计算学科教授,主要研究数据库理论、数据库集成一体化和数据挖掘等。

欧盟刚刚针对大数据的使用和分析模型的建立出台了一个新的隐私保护法(雷锋网获悉,这一法案将于2018年1月起正式施行)。现在还无法确定这一法案将会造成怎样的影响,但有一点似乎可以确定,那就是它将在很大程度上避免深度学习领域内由于分析模型乱用导致的意外问题。目前许多公司都在与欧盟沟通,试图确认究竟哪些数据资源和分析模型是可用的,而哪些不行。比如说,谷歌可以探测一封邮件的内容,并且将其和已知的垃圾邮件对比,如果内容类似就判定这封邮件为垃圾邮件。那么谷歌到底有没有读取用户邮件的权利?这些问题都还有待确定。

8.MateiZaharia,Databricks平台首席科学家,大数据处理框架ApacheSpark创始人。

1)公有云正在成为部署大数据应用的主流平台。根据今年夏天的用户调查结果显示,在公有云部署Spark框架的用户比例高达61%,而使用HadoopYARN的用户则只有36%。更重要的是,使用公有云的61%的用户去年只有51%,而使用HadoopYARN的用户则从去年的40%下滑到36%,这说明公有云的用户正在持续的增长。分析原因,这或许是由于亚马逊AWSS3这样的云服务产品正在变得越来越经济,性能越来越稳定,易用性也越来越好。

2)今年7月,我们发布了ApacheSpark2.0版,这一版本针对SparkSQL和数据帧(Dataframes)在新款硬件的使用方面进行了较大的性能提升。值得一提的是,我们已经看到2.0版的使用率正在快速增长,目前大约有40%的集群用户正在使用它。这说明用户需要对新硬件建立快速的支持。



本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
2月前
|
人工智能 分布式计算 大数据
超级计算与大数据:推动科学研究的发展
【9月更文挑战第30天】在信息时代,超级计算和大数据技术正成为推动科学研究的关键力量。超级计算凭借强大的计算能力,在尖端科研、国防军工等领域发挥重要作用;大数据技术则提供高效的数据处理工具,促进跨学科合作与创新。两者融合不仅提升了数据处理效率,还推动了人工智能、生物科学等领域的快速发展。未来,随着技术进步和跨学科合作的加深,超级计算与大数据将在科学研究中扮演更加重要的角色。
|
2月前
|
数据采集 分布式计算 MaxCompute
MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化!
83 3
|
6月前
|
数据采集 运维 算法
大数据项目管理:从需求分析到成果交付的全流程指南
【4月更文挑战第9天】本文介绍了大数据项目从需求分析到成果交付的全过程,包括需求收集与梳理、可行性分析、项目规划、数据准备与处理、系统开发与集成,以及成果交付与运维。文中通过实例展示了如何进行数据源接入、数据仓库建设、系统设计、算法开发,同时强调了需求理解、知识转移、系统运维的重要性。此外,还提供了Python和SQL代码片段,以说明具体技术实现。在大数据项目管理中,需结合业务和技术,灵活运用这些方法,确保项目的成功执行和价值实现。
1753 1
|
3月前
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
164 4
大数据环境下的房地产数据分析与预测研究的设计与实现
|
3月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的题目——北京移动用户体验影响因素研究,提供了问题一的建模方案、代码实现以及相关性分析,并对问题二的建模方案进行了阐述。
93 0
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
|
3月前
|
机器学习/深度学习 自然语言处理 数据可视化
基于Python大数据的京东产品评论的情感分析的研究,包括snwonlp情感分析和LDA主题分析
本文探讨了基于Python大数据技术对京东产品评论进行情感分析的研究,涵盖了文本预处理、情感分类、主题建模等步骤,并运用了snwonlp情感分析和LDA主题分析方法,旨在帮助电商企业和消费者做出更明智的决策。
135 1
基于Python大数据的京东产品评论的情感分析的研究,包括snwonlp情感分析和LDA主题分析
|
3月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题二建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的问题二的建模方案和Python代码实现,包括数据预处理、特征工程、模型训练以及预测结果的输出,旨在通过数据分析与建模方法帮助中国移动北京公司提升客户满意度。
75 2
|
4月前
|
数据可视化 前端开发 大数据
商场智能导视系统深度解析,AR与大数据融合创新商业运营模式
**商场智能导视系统提升购物体验:** 通过三维电子地图、AR导航、AR营销、VR全景导购及可视化数据,解决顾客寻路困扰,增强店铺曝光,简化招商流程,优化商场管理,借助科技创新驱动顾客满意度、品牌曝光度及运营效率的全面提升。
116 0
商场智能导视系统深度解析,AR与大数据融合创新商业运营模式
|
5月前
|
数据采集 搜索推荐 大数据
基于大数据的市场分析与消费者行为研究
【6月更文挑战第5天】大数据在市场分析与消费者行为研究中扮演关键角色。通过海量数据分析,企业能更全面、精准地了解消费者偏好和市场趋势。Python等工具帮助处理数据,揭示购买习惯,支持个性化营销策略。同时,大数据使深入理解消费者心理、决策过程成为可能,助力企业优化产品,提升客户满意度和忠诚度。在这个数据驱动的时代,大数据是洞悉市场和消费者的魔法力量。
196 2