为什么会出现微服务和分布式?
微服务和分布式在如今的码农界,火热到几乎无人不知,无人不晓的地步。但是你有没有好奇过为什么它会突然出现并变得这么火热呢?
如何在MaxCompute上运行HadoopMR作业
MaxCompute(原ODPS)有一套自己的MapReduce编程模型和接口,简单说来,这套接口的输入输出都是MaxCompute中的Table,处理的数据是以Record为组织形式的,它可以很好地描述Table中的数据处理过程,然而与社区的Hadoop相比,编程接口差异较大。Hadoop用户如果
Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建
博文推荐:http://blog.csdn.net/anzhsoft/article/details/39268963,由大神张安站写的Spark架构原理,使用Spark版本为1.2,本文以Spark 1.5.0为蓝本,介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板
import org.apache.spark.{SparkConf, S
Hadoop2.5.2集群部署(完全分布式)
本文描述了如何安装、配置和管理有实际意义的Hadoop集群,安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常,集群里一台机器被指定为 NameNode,另一台不同的机器被指定为DataNode。
DKhadoop环境安装配置步骤详解
在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。