2014年大数据应用:Hadoop正处于上升期

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:
文章讲的是 2014年大数据应用:Hadoop正处于上升期根据最新的 Forrest报告 ,有很多公司都在努力挖掘他们拥有的大量数据,包括结构化、非结构化、半结构化以及二进制数据等,探索对数据的深入利用。下面是报告结论的其中一点:

  大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代,你必须采集并存储这些数据。一些看起来与业务无关的数据,如手机GPS数据,将来也可能是座金矿。

  所以,大量公司都寄希望于使用Hadoop解决如下难题:

  ●采集并存储与公司业务职能相关的所有数据。

  ●支撑先进的分析功能,包括商业智能,采用现代方式对数据进行先进的可视化和预测性分析。

  ●将数据快速分享给所需之人。整合多个数据孤岛帮助组织解答以前根本没人提过,甚至是未知的复杂问题。

  ●容纳持续增长的数据量和新数据源。Hadoop支持解决方案规模的快速、有效扩大,使不断增长的容量、速度以及多样的数据尽在公司的把控之中。

  根据报告的内容,Hadoop的购买周期正处于上升阶段,因此在该领域催生了越来越多的厂商。尽管Hadoop是Apache的开源项目,任何人都可以免费下载,但大多数消费者还是倾向于采用厂商的打包方案。除了将所有的Hadoop组件打包并保证其能正常使用(兼容版本)之外,厂商一般还会提供企业级支持和扩展:以Apache Hadoop(Common,HDFS,MapReduce )作为方案的核心组件,搭配额外实现增强Hadoop的功能,并增加差异化功能使其解决方案更具吸引力。

  Forrester的报告详细介绍了9家厂商:Amazon Web Services、Cloudera、Hortonworks、IBM、Intel、MapR科技、Microsoft、Pivotal软件和Teradata,并根据以下指标对这些厂商进行了评测:

  ●现有产品,包括解决方案架构、数据和处理功能、安装、管理、监控工具、兼容性和社区成熟度等方面。

  ●战略,包括厂商在满足当前客户需求和弥补企业部署方面的计划。对战略的评测包括股权并购、内部战略的执行能力、产品路线图以及对客户的支持能力等。

  ●市场占有率,包括公司的财务,全球占有率,安装基数,与其他软件厂商、专业服务厂商以及软件即服务(Saas)/云/托管提供商之间的战略合作关系等。

  报告的主要研究结果如下:

  ●厂商众多,但是并没有占主导地位的厂商。

  在此次大数据Hadoop解决方案评测中,领导厂商有Amazon Web Services、Cloudera、Hortonworks、IBM、MapR科技、Pivotal软件和Teradata。这些厂商都是基于Apache开源项目,然后增加打包、支持、集成等特性以及自己的创新等内容以弥补Hadoop在企业中的短板。所有厂商都实现了这些功能,尽管方式略有不同——从各厂商的评测得分和厂商资料可见一斑。

  ●新晋厂商的解决方案也有不俗的表现。

  在此次大数据Hadoop解决方案评测中,表现强劲的厂商有Intel和Microsoft。Microsoft为HDInsight产品制定了强劲的路线图,使其竞争力不亚于其他领导厂商。Microsoft HDInsight为Azure进行了特殊优化,所以对于那些想要在Azure上实现Hadoop的Microsoft客户来说,它是最好的解决方案。而Intel将其创新能力聚焦于芯片级,如果它想将其产品打造成企业级解决方案,还需要加强其战略和企业工具。

  根据该报告,虽然此次对大数据Hadoop解决方案市场的评测只是一个开始,但是对于那些努力摆脱复杂的Hadoop厂商局面的公司而言,该报告提供了很好的参考信息。

  更多精彩尽在2014年4月10日-12日在北京五洲皇冠国际酒店举办的第五届中国数据库技术大会,3月25日之前订票可享受8.8折最低票价。

  Facebook专家:Hadoop不足以处理大数据
进入官网了解更多详情


作者:王振峰 译

来源:IT168

原文链接:2014年大数据应用:Hadoop正处于上升期

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
223 1
|
24天前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
60 4
|
1月前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
2月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
2月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
145 2
|
3月前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
87 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
|
2月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
122 1
|
3月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
98 1
ly~
|
3月前
|
供应链 搜索推荐 安全
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
303 2
|
3月前
|
SQL 分布式计算 大数据
大数据平台的毕业设计01:Hadoop与离线分析
大数据平台的毕业设计01:Hadoop与离线分析
201 0