2015也过去一半了,Hadoop大事件盘点

简介: 2015也快过去一半了,Hadoop在过去一年的发展究竟如何,下面小象带你盘点一下2014Hadoop大事件!2014年2月,Hadoop 2.3.0发布,新特性包括支持HDFS的混合存储分级,可以集中管理HDFS内存里的缓存数据,通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。

Hadoop

2015也快过去一半了,Hadoop在过去一年的发展究竟如何,下面小象带你盘点一下2014Hadoop大事件!

2014年2月,Hadoop 2.3.0发布,新特性包括支持HDFS的混合存储分级,可以集中管理HDFS内存里的缓存数据,通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。

2014年4月,Hadoop 2.4.0发布。包括HDFS支持ACL权限控制机制、容易升级、支持支持https访问、支持ResourceManager因故障挂掉重启后,可以恢复之前正在运行的应用程序(用户不需重新提交)、增加了Yarn共享信息存储模块ATS等。

2014年8月,Hadoop 2.5.0发布。新特性包括扩展文件属性、改进 HDFS 的 Web UI,提升 Yarn共享信息存储模块ATS 安全性,更丰富的 YARN REST API 等。

2014年11月,Hadoop 2.6.0发布。增加了基于HadoopKeyProvider API编写的密钥管理服务器Hadoop Key Management Server(KMS)、HDFS实现了一个透明的,端到端的加密方式、长期存在的服务可以在YARN中运行、支持Docker容器中的本机应用程序等。

Hadoop

Hadoop 2 的逐步更新是不是意味着Hadoop已经走向成熟的企业级技术了呢?其实它还有很长的路要走。

SQL-on-Hadoop

如果不能使用SQL语言,Hadoop无疑是在构建下一个数据孤岛,因此SQL-on-Hadoop获得了越来越多的关注。

Apache Hive 0.13发布。Hive是最早的基于Hadoop的SQL引擎。

Apache 基金会宣布Apache Drill升级成为基金会的顶级项目。Drill包含SQL解析器,兼容SQL环境和Hive。

除此之外,还有很多SQL引擎可供选择。

数据库领域初创公司Splice Machine上周宣布,发布SQL-on-Hadoop数据库,官方宣称它可以在HDFS(Hadoop分布式文件系统)中运行SQL查询和ACID事务。

喧嚣与躁动

Hadoop市场从未像今年这样热闹过,商用版Hadoop供应商纷纷抱大腿,很多传统厂商也来分一杯羹。

Cloudera

因特尔放弃了自己研发的Hadoop发行版,转而支持Cloudera,以7.4亿美元收购Cloudera 18%的股份。

红帽和Cloudera联盟,一起开发包括数据集成和应用开发工具,以及数据平台在内的软件解决方案。

Cloudera成立中国分公司,取名“肯睿(上海)软件有限公司”,正式入华。

Hortonworks

惠普投资5000万美元与Hortonworks达成战略性合作关系,二者联手开发Hadoop技术,使其在惠普的Haven大数据平台上运行。

EMC分拆公司Pivotal和Hortonworks合作,联手打造Hadoop标准管理工具Apache Ambari。

Teradata

Teradata收购数据咨询公司Think Big Analytics,借此获得Hadoop业务能力

Teradata与MapR合作,获得MapR软件、专业服务及客户支持服务的经销权,并作为同时使用Teradata及MapR解决方案客户的单点联系方提供服务。

Oracle

Oracle最新推出的SQL扩展方案——Oracle大数据SQL(Big Data SQL)能实现一条SQL查询来从Cloudera Hadoop(CDH)和Oracle NoSQL数据库中调取数据,同时也支持Exadata上运行的Oracle关系型数据库。

应用案例

很多CIO非常关心Hadoop技术发展到什么程度了,还有没有成熟。其实CIO更应该关心的是自己的企业发展到什么程度了,适不适合使用Hadoop。没有完全成熟的技术,只有能否满足业务需求的产品。很多公司都应用了Hadoop技术,来看看今年曝光的应用案例吧!

美国电商eBay每天要处理100PB的数据,其中包括50TB的机器数据。它采用了三层平台战略,其中第三层平台就是Hadoop,eBay部署了两个2万节点的Hadoop集群,能处理80PB的数据。

数字媒体软件供应商Adobe公司运用SAP Data Service将Hadoop数据加载到SAP内存数据库HANA上。

思科首席数据架构师Bhargava带领他的团队从事开发Hadoop的工作,一些Hadoop用户案例已经投入市场,比如集成线下和线上客户信息。虽然现在Hadoop的规模还很小,但在接下来两年里,它会呈指数增长。

摘自:小象学院

目录
相关文章
|
存储 消息中间件 Java
Hadoop-No.15之Flume基于事件的数据收集和处理
Flume是一种分布式的可靠开源系统,用于流数据的高效收集,聚集和移动.Flume通常用于移动日志数据.但是也能移动大量事件数据.如社交媒体订阅,消息队列事件或者网络流量数据. Flume架构 Flume的数据源使用来自外部数据源的时间,然后转发到Channel中.
964 0
|
资源调度 分布式计算 Java
Hadoop Yarn事件处理框架源码分析
由于想在项目中使用类似yarn的事件处理机制,就看了实现。主要是由Dispatcher.java,EventHandler.java,Service.java这3个类撑起来的。
1125 0
|
分布式计算 资源调度 Java
Hadoop2.6.0的事件分类与实现
说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。
2024 0
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
187 6
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
79 2
|
3天前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
30 4
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
114 2
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
78 1

相关实验场景

更多