最新大数据行业鸟瞰图及解读

简介:

0.jpg


原标题:Matt Turck:大数据行业信息图以及一些思考


本文来自潘星键投稿(@星键V;微信:akavir),他在汤森路透从事数据质量分析工作近7年,文章编译自Matt Turck《The State Of Big Data in 2014: a Chart》,Matt Turck曾任Bloomberg Ventures常务董事,现为FirstMark Capital合伙人。


从我第一次尝试为繁荣发展的大数据生态系统绘制一张信息图已经过去了两年, 而这期间大数据行业发生了很多巨大的变化。 我早就该对这张图做一个更新,现在终于完成了。


从VC的角度,我想谈谈对这张图以及大数据行业的一些想法:


越来越拥挤:创业者们蜂拥至这个行业, VC们将大笔的资金投资到看起来有机会成功的创业公司,其结果是,这个行业正变得越来越拥挤。 一些类别如数据库(不管是NoSQL还是NewSQL)和社交媒体数据分析正趋于成熟,且开始出现并购或者淘汰出局(Twitter对BlueFin和GNIP的收购可能意味着在社交媒体数据分析领域这种趋势早已经开始了)。


对于后来者来说, 虽然空间依然存在,但看起来早期的大笔风投资金都下注在基础设施(infrastructure)和分析(analytics)领域,导致成功的标准变得越来越高。 不过, 这并不意味着VC的资金会停止流入这些领域。


对于一些领域,公司的数量之多显然已经达到了一张地图所能容纳的上限。 我相信还有一些不错的公司我们没能纳入进来,也许是我们没有发现,也许是因为地方不够了, 我在此表示非常抱歉, 同时我也希望大家在评论里对于应当纳入那些公司提出反馈和意见。


尚处在早期阶段: 总体而言,这个市场还处在发展的早期阶段。 过去几年, 一些被看好的公司失败了(如Drawn to Scale),一些公司的创业者提前退出了(例如Precog、Prior Knowledge、Lucky Sort、Rapleaf、Nodeable、Karmasphere等 ),还有一些的结局稍好(例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFin labs、BlueKai)。


与此同时,一些公司看起来正越做越大,并获得大笔惊人的风投注资(比如MongoDB已经融资超过2.3亿美元, Palantir融资近9亿美元, Cloudera近10亿美元。一些大公司正积极出击进行并购(Oracle收购BlueKai, IBM收购Cloudant),但是总体而言,多数公司离成功实现IPO和投资者功成身退还差的很远(虽然Splunk和Tableau做到了)。 在很多类别,创业公司和大公司互相竞争,但并没有出现市场领导者。


市场宣传遭遇现实:在经历这些年狂轰滥炸的市场宣传之后,大数据还是焦点么?未来几年,也许大数据不再是媒体的热门,但对于大数据市场而言却是至关重要的, 因为企业将要开始把大数据项目从试验转而全面的部署实施。


虽然这意味着一些大数据提供商的利润会迅猛增长,但同时这些项目也将成为大数据是否能带来它所宣传的价值的一块试金石。与此同时,随着“物联网”行业的迅速崛起,数据将会如潮水般加速增长,进一步推高市场对大数据技术的需求。


基础设施:Hadoop似乎已经奠定了其作为整个大数据生态系统的关键部分,一些竞争者依然虽在, 这一领域也许会进一步发展和整合。 Sprak是另一个的基于Hadoop分布式文件系统(HDFS)的开源框架,它试图填补Hadoop的弱项,提供更快的的数据分析和良好的编程接口,目前正吸引大量关注(一些迹象显示它做的还不错)。


一些主题(比如实时数据处理)依然是重中之重,同时新的主题也在不断涌现(比如新一代处理、变换、清洗数据的工具,包括Trifacta、Paxata 和 DataTamer)。 企业数据是否会真正的放到云里(公共云或私有云),如果是,还有多久才发生,将是另一个大的话题。很多人认为财富500公司在接下来的几年来会继续把数据(以及处理数据的软件)放在机房里。一批云服务+Hadoop的创业公司则认为长期来看,所有的数据最终都会放到云中。


分析工具:从创业公司和VC投资的数量来看,这一领域最为活跃。从excel表格式的用户界面,到时间轴动画和3D动画, 创业公司提供各种各样的数据分析工具和用户界面,而不同的客户也确实有不同的需求,所以这一领域大概依然有足够的发展空间。


推广产品的策略也不尽相同 — 有些创业公司更针对于数据科学家,这群人目前不多但增长迅速。 另一些则正好相反,他们销售自动化的解决方案给一般商业用户,完全忽略数据科学家的存在。


大数据应用: 正如之前预测的,大数据缓慢但的确朝着应用层面发展。 这张图列出了一些令人兴奋的创业公司——他们本质上都是基于大数据技术和工具(当然我们无法把所有的相关公司都在这里列出来)。一些公司提供横向应用——如基于大数据的营销系统,客户关系管理系统和欺诈甄别解决方案。


金融业和广告科技业一直是大数据推广的领导者和最早的拥趸,甚至早于大数据被称作大数据。慢慢的,大数据推广到各行各业,如医疗行业和生化行业(特别是基因研究领域)和教育行业。现在才刚刚开始。


特别感谢我在FirstMark的同事Sutian Dong,她为这张图做了很多的基础工作。以及我在彭博Beta的前同事Shivon Zilis,他对这张图的之前版本做了巨大的贡献。


原文发布时间为:2014-07-07

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 数据采集 消息中间件
漫谈对大数据的思考(上)
“大数据”已跃升为我们行业中最受炒作的术语之一,但炒作不应使人们忽视这样一个事实,即这是数据在世界上的作用真正重要的转变。
漫谈对大数据的思考(上)
|
存储 分布式计算 大数据
什么是大数据?
  然而,什么是大数据?至今也没有一个比较权威的定义。   麦肯锡曾给出大数据的定义是:大数据是指大小超出了常规数据库工具获取、存储、管理和分析能力的数据集合。   维基百科也给出类似的定义:大数据指的是所涉及的数据量规模大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。   一句话,大数据就是数据量大?!   我觉得,这句话说了等于没说,还容易让人误解。你以为数据量大才是大数据?
334 0
|
新零售 存储 Java
关于大数据最常见的10个问题,必看!
1、云计算与大数据是什么关系?   云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题。
1183 0
|
大数据 Java Serverless
大数据
Map-Reduce和Hadoop逐渐称为面试热门。还有,容量的转换如下: bit就是位,也叫比特位,是计算机表示数据最小的单位。 byte就是字节,1byte=8bit,1byte就是1B; 一个字符=2字节; 1KB=1024B 字节B到GB是 介绍他们之前,我们先来看看什么是哈希函数 什么是Map-Reduce。
1073 0
|
分布式计算 数据可视化 大数据
|
新零售 Web App开发 算法