Docker生态会重蹈Hadoop的覆辙吗?
今晨在微信组中大家讨论了一篇文章,刚好和第三期云栖说《Hadoop是否已经过时》立意相似。不完全认同作者观点,发出共享以及思考。目测微信组从中午一直吵到现在了,果然是理越辩越明。文章来自科技头条微信号,作者是品刀客。原文链接见此处。目录一、Docker的兴起和Hadoop何其相似二、大数据从狂热走向了理性三、Hadoop生态圈的演进四、Docker的生态圈五、Docker公司的战略
如何在MaxCompute上运行HadoopMR作业
MaxCompute(原ODPS)有一套自己的MapReduce编程模型和接口,简单说来,这套接口的输入输出都是MaxCompute中的Table,处理的数据是以Record为组织形式的,它可以很好地描述Table中的数据处理过程,然而与社区的Hadoop相比,编程接口差异较大。Hadoop用户如果
Hadoop大数据面试题(全)
以下资料来源于互联网,很多都是面试者们去面试的时候遇到的问题,我对其中有的问题做了稍许的修改了回答了部分空白的问题,其中里面有些考题出的的确不是很好,但是也不乏有很好的题目,这些都是基于真实的面试来的,希望对即将去面试或向...
Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建
博文推荐:http://blog.csdn.net/anzhsoft/article/details/39268963,由大神张安站写的Spark架构原理,使用Spark版本为1.2,本文以Spark 1.5.0为蓝本,介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板
import org.apache.spark.{SparkConf, S
DKhadoop环境安装配置步骤详解
在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。
Apache Storm 衍生项目 & Apache Flink初接触
storm是一个近似于实时的计算框架,甩开hadoop上的原生mapreduce计算框架不只一条街。如果能将storm引入到hadoop中,对存储于hdfs的数据进行分析必然极大的提高处理性能。storm-yarn就是这样一个项目,由yahoo实现,目前已经开源。或许谈起storm是大数据实时计算框