2014年大数据应用:Hadoop正处于上升期

简介:
文章讲的是 2014年大数据应用:Hadoop正处于上升期根据最新的 Forrest报告 ,有很多公司都在努力挖掘他们拥有的大量数据,包括结构化、非结构化、半结构化以及二进制数据等,探索对数据的深入利用。下面是报告结论的其中一点:

  大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代,你必须采集并存储这些数据。一些看起来与业务无关的数据,如手机GPS数据,将来也可能是座金矿。

  所以,大量公司都寄希望于使用Hadoop解决如下难题:

  ●采集并存储与公司业务职能相关的所有数据。

  ●支撑先进的分析功能,包括商业智能,采用现代方式对数据进行先进的可视化和预测性分析。

  ●将数据快速分享给所需之人。整合多个数据孤岛帮助组织解答以前根本没人提过,甚至是未知的复杂问题。

  ●容纳持续增长的数据量和新数据源。Hadoop支持解决方案规模的快速、有效扩大,使不断增长的容量、速度以及多样的数据尽在公司的把控之中。

  根据报告的内容,Hadoop的购买周期正处于上升阶段,因此在该领域催生了越来越多的厂商。尽管Hadoop是Apache的开源项目,任何人都可以免费下载,但大多数消费者还是倾向于采用厂商的打包方案。除了将所有的Hadoop组件打包并保证其能正常使用(兼容版本)之外,厂商一般还会提供企业级支持和扩展:以Apache Hadoop(Common,HDFS,MapReduce )作为方案的核心组件,搭配额外实现增强Hadoop的功能,并增加差异化功能使其解决方案更具吸引力。

  Forrester的报告详细介绍了9家厂商:Amazon Web Services、Cloudera、Hortonworks、IBM、Intel、MapR科技、Microsoft、Pivotal软件和Teradata,并根据以下指标对这些厂商进行了评测:

  ●现有产品,包括解决方案架构、数据和处理功能、安装、管理、监控工具、兼容性和社区成熟度等方面。

  ●战略,包括厂商在满足当前客户需求和弥补企业部署方面的计划。对战略的评测包括股权并购、内部战略的执行能力、产品路线图以及对客户的支持能力等。

  ●市场占有率,包括公司的财务,全球占有率,安装基数,与其他软件厂商、专业服务厂商以及软件即服务(Saas)/云/托管提供商之间的战略合作关系等。

  报告的主要研究结果如下:

  ●厂商众多,但是并没有占主导地位的厂商。

  在此次大数据Hadoop解决方案评测中,领导厂商有Amazon Web Services、Cloudera、Hortonworks、IBM、MapR科技、Pivotal软件和Teradata。这些厂商都是基于Apache开源项目,然后增加打包、支持、集成等特性以及自己的创新等内容以弥补Hadoop在企业中的短板。所有厂商都实现了这些功能,尽管方式略有不同——从各厂商的评测得分和厂商资料可见一斑。

  ●新晋厂商的解决方案也有不俗的表现。

  在此次大数据Hadoop解决方案评测中,表现强劲的厂商有Intel和Microsoft。Microsoft为HDInsight产品制定了强劲的路线图,使其竞争力不亚于其他领导厂商。Microsoft HDInsight为Azure进行了特殊优化,所以对于那些想要在Azure上实现Hadoop的Microsoft客户来说,它是最好的解决方案。而Intel将其创新能力聚焦于芯片级,如果它想将其产品打造成企业级解决方案,还需要加强其战略和企业工具。

  根据该报告,虽然此次对大数据Hadoop解决方案市场的评测只是一个开始,但是对于那些努力摆脱复杂的Hadoop厂商局面的公司而言,该报告提供了很好的参考信息。

  更多精彩尽在2014年4月10日-12日在北京五洲皇冠国际酒店举办的第五届中国数据库技术大会,3月25日之前订票可享受8.8折最低票价。

  Facebook专家:Hadoop不足以处理大数据
进入官网了解更多详情


作者:王振峰 译

来源:IT168

原文链接:2014年大数据应用:Hadoop正处于上升期

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
29天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
57 2
|
1月前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
40 0
|
29天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
3天前
|
分布式计算 资源调度 Hadoop
java与大数据:Hadoop与MapReduce
java与大数据:Hadoop与MapReduce
23 0
|
4天前
|
分布式计算 监控 数据挖掘
MaxCompute的应用
【5月更文挑战第7天】MaxCompute的应用
25 8
|
13天前
|
存储 分布式计算 Hadoop
【专栏】Hadoop,开源大数据处理框架:驭服数据洪流的利器
【4月更文挑战第28天】Hadoop,开源大数据处理框架,由Hadoop Common、HDFS、YARN和MapReduce组成,提供大规模数据存储和并行处理。其优势在于可扩展性、容错性、高性能、灵活性及社区支持。然而,数据安全、处理速度、系统复杂性和技能短缺是挑战。通过加强安全措施、结合Spark、自动化工具和培训,Hadoop在应对大数据问题中保持关键地位。
|
17天前
|
分布式计算 Hadoop 大数据
[大数据] mac 史上最简单 hadoop 安装过程
[大数据] mac 史上最简单 hadoop 安装过程
|
1月前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
81 1
|
12天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。