• 关于

    hadoop源码分析

    的搜索结果
  • Hadoop2源码分析-准备篇

    1.概述   我们已经能够搭建一个高可用的Hadoop平台了,也熟悉并掌握了一个项目在Hadoop平台下的开发流程,基于Hadoop的一些套件我们也能够使用,并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上,我们接着往后面去研究学习,那就是Hadoop的源码了,作为Hadoop开发...

    文章 smartloli 2016-04-19 2471浏览量

  • Hadoop2源码分析-准备篇

    1.概述   我们已经能够搭建一个高可用的Hadoop平台了,也熟悉并掌握了一个项目在Hadoop平台下的开发流程,基于Hadoop的一些套件我们也 能够使用,并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上,我们接着往后面去研究学习,那就是Hadoop的源码了,作为 Hadoop...

    文章 smartloli 2016-04-25 2121浏览量

  • Hadoop2源码分析-准备篇

    1.概述   我们已经能够搭建一个高可用的Hadoop平台了,也熟悉并掌握了一个项目在Hadoop平台下的开发流程,基于Hadoop的一些套件我们也能够使用,并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上,我们接着往后面去研究学习,那就是Hadoop的源码了,作为Hadoop开发...

    文章 技术mix呢 2017-11-20 990浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 《Hadoop与大数据挖掘》——2.7 本章小结

    本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.7节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.7 本章小结 本章首先介绍了Hadoop的基本概念、原理以及Hadoop生态系统各个框架。接着,介绍了...

    文章 华章计算机 2017-07-03 952浏览量

  • 《Hadoop与大数据挖掘》一2.7 本章小结

    本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.7节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.7 本章小结 本章首先介绍了Hadoop的基本概念、原理以及Hadoop生态系统各个框架。接着,介绍...

    文章 华章计算机 2017-06-26 1023浏览量

  • 《MapReduce 2.0源码分析与编程实战》一1.3 简单、粗暴、有效——这就是Hadoop

    本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章,第1.3节,作者: 王晓华 责编: 陈冀康,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 简单、粗暴、有效——这就是Hadoop 2005年,IT界先锋Apache基金会率先提出了一种先进的不以关系型...

    文章 异步社区 2017-05-02 1193浏览量

  • 都是default惹的祸-yarn调度(一)-fair调度器drf调度策略作业不执行问题的调查和源码分析

    本文主要记录了fair调度器drf调度策略作业不执行问题的解决过程,重点介绍了调查方法和调查过程细节,希望对大家了解fair调度器有所帮助 。 除本人知乎专栏外,转载请联系我。 一.问题背景 yarn的调度器有capacity和fair两种,之间的区别可以自行谷歌。fair调度器(附录1)是...

    文章 鸿初 2018-05-11 2747浏览量

  • weekend110(Hadoop)的 第二天笔记

      01-NN元数据管理机制 02-NN工作机制2 03-DN工作原理 04-HDFS的JAVA客户端编写 05-filesystem设计思想总结 06-hadoop中的RPC框架实现机制 07-hadoop中的RPC应用实例demo 08-hdfs下载数据源码跟踪铺垫 09-hdfs下载数据源码...

    文章 技术小哥哥 2017-11-13 671浏览量

  • 高可用Hadoop平台-答疑篇

    1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行...

    文章 smartloli 2016-04-19 1207浏览量

  • Hadoop报错:Failed to locate the winutils binary in the hadoop binary path

    1 发现问题在虚拟机中搭建了hadoop集群,在windows中通过代码访问报错 15/06/11 15:35:50 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOExc...

    文章 徐胖子 2016-12-05 6627浏览量

  • 高可用Hadoop平台-答疑篇

    1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行...

    文章 技术mix呢 2017-11-20 579浏览量

  • 高可用Hadoop平台-答疑篇

    1.概述   这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案?   针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行...

    文章 smartloli 2016-04-25 1212浏览量

  • Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

    引文 学习Hadoop的同学们,一定知道如果运行Hadoop自带的各种例子,以大名鼎鼎的wordcount为例,你会输入以下命令: hadoop org.apache.hadoop.examples.WordCount -D mapreduce.input.fileinputformat.spli...

    文章 泰山不老生 2016-04-29 4203浏览量

  • 阿里封神谈hadoop生态学习之路

    引言 当前,越来越多的同学进入大数据行业,有的是底层的技术,有的是工程,有的是算法,有的是业务。每个产品、都需要工程化的实现,以前,工程师都是操练着java/python/c等各种语言操纵中各类的软件,比如jquery,spring、mysql,实现产品的业务逻辑。在大数据时代,要想个性化实现业务...

    文章 封神 2016-04-14 43698浏览量

  • 《Hadoop与大数据挖掘》一2.1.5 Hadoop生态系统

    本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.1.5节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1.5 Hadoop生态系统 如图2-12所示,Hadoop的生态圈其实就是一群动物在狂欢。我们...

    文章 华章计算机 2017-06-26 1250浏览量

  • Hadoop学习资源集合

    Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大...

    文章 readygo 2016-05-18 36781浏览量

  • 2013年北京hadoop in china见闻

    谈下这次参加中国hadoop技术峰会的收获,两天大约听了20场次,上午的是必听的,下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群,特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表,复杂点可能会涉及到一些机器学习...

    文章 封神 2016-04-20 1396浏览量

  • 《MapReduce 2.0源码分析与编程实战》一1.4 MapReduce与Hadoop

    本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章,第1.4节,作者: 王晓华 责编: 陈冀康,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 MapReduce与Hadoop 如果将Hadoop比作一头大象的话,那么MapReduce就是那头大象的大脑...

    文章 异步社区 2017-05-02 1390浏览量

  • Apache Spark源码走读(三)Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

    <一>Spark on Yarn 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准,Spa...

    文章 许鹏 2016-09-14 4096浏览量

  • Hadoop2.x源码-编译剖析

    1.概述   最近,有小伙伴涉及到源码编译。然而,在编译期间也是遇到各种坑,在求助于搜索引擎,技术博客,也是难以解决自身所遇到的问题。笔者在被询问多 次的情况下,今天打算为大家来写一篇文章来剖析下编译的细节,以及遇到编译问题后,应该如何去解决这样类似的问题。因为,编译的问题,对于后期业务拓展, 二...

    文章 smartloli 2016-04-25 1220浏览量

  • Hadoop2.x源码-编译剖析

    1.概述   最近,有小伙伴涉及到源码编译。然而,在编译期间也是遇到各种坑,在求助于搜索引擎,技术博客,也是难以解决自身所遇到的问题。笔者在被询问多 次的情况下,今天打算为大家来写一篇文章来剖析下编译的细节,以及遇到编译问题后,应该如何去解决这样类似的问题。因为,编译的问题,对于后期业务拓展, 二...

    文章 smartloli 2016-04-25 1383浏览量

  • container-executor.cfg文件及其各级父路径问题解决方案

    一、背景       为了增加Hadoop CGroup来限制部分作业对CPU的占用,近日在搭建Hadoop-2.6.0的CGroup过程中,碰到了以下一个问题,提示如下(注:500为用户hadoop的id号): File /opt/hadoop/hadoop-2.6.0/etc/hadoop/...

    文章 柏辰爸爸 2016-09-28 1230浏览量

  • Hadoop2.x源码-编译剖析

    1.概述   最近,有小伙伴涉及到源码编译。然而,在编译期间也是遇到各种坑,在求助于搜索引擎,技术博客,也是难以解决自身所遇到的问题。笔者在被询问多次的情况下,今天打算为大家来写一篇文章来剖析下编译的细节,以及遇到编译问题后,应该如何去解决这样类似的问题。因为,编译的问题,对于后期业务拓展,二次开...

    文章 技术mix呢 2017-11-16 757浏览量

  • Spark学习之Hadoop安装与测试

    Spark是跑在Hadoop上(依赖YARN和HDFS)的内存计算引擎,内置了多种丰富组件如Spark SQL、Spark Stream等,是大数据分析挖掘的一种技术趋势。本文为学习Spark技术的第一篇日志,主要记录了Hadoop环境的搭建、安装与测试。 资源准备 操作系统:CentOS 7 ;...

    文章 netbug_nb 2016-04-13 1310浏览量

  • 高可用Hadoop平台-Hue In Hadoop

    1.概述   前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览   本文所使用的环境是Ap...

    文章 smartloli 2016-04-25 3245浏览量

  • 高可用Hadoop平台-Hue In Hadoop

    1.概述 今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览   本文所使用的环境是Apache Hadoop-2.6版本,下面开始今天的内容分享。 2.Hue简述   Hue是一个开源的Apache Ha...

    文章 smartloli 2016-04-20 2690浏览量

  • 《深入理解Spark:核心思想与源码分析》——3.5节Hadoop相关配置及Executor环境变量

    本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第3章,第3.5节Hadoop相关配置及Executor环境变量,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看 3.5 Hadoop相关配置及Executor环境变量3.5.1 Hadoop相关配置信息默认情况...

    文章 华章计算机 2017-05-02 818浏览量

  • 《深入理解Hadoop(原书第2版)》——导读

    前  言 Hadoop已经进入Apache社区发展五年多了,使用Hadoop系统进行开发的工作仍然富于挑战但收获丰厚。本书第1版在若干年前就已经出版了,在这期间,Hadoop系统已经被越来越多的企业使用,自身也得到了飞速发展。 Hadoop2.0基于YARN框架做了全新升级,重写了Hadoop系统...

    文章 华章计算机 2017-05-02 1968浏览量

  • 玩转大数据-如何搭建hadoop集群

    看到题目有没有一种高大上的感觉? 毛线,当前是个人、是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有几个TB的分析数据产出敢说自己是大数据? 乘着大数据噱头之风,我们还是要看一下大数据所运用的工具对于我们是否有用,小编之前写项目时一直青睐于mysql,进来发现新的项目mysql已经...

    文章 丁小晶 2016-08-16 1040浏览量

  • 高可用Hadoop平台-Hue In Hadoop

    1.概述   前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览   本文所使用的环境是Ap...

    文章 技术mix呢 2017-11-20 965浏览量

1 2 3 4 ... 13 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务