阿里云 > 开发者平台 > H > hadoop源码分析
相关搜索：
python 量化分析 网站 php网站日志分析 python 网站日志分析 Android ViewPager源码详细分析 网站访客分析 txt网站日志分析
  • 关于

    hadoop源码分析

    的搜索结果

  • Hadoop2源码分析－准备篇

    1.概述 　　我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为Hadoop开发...

    文章 smartloli 2016-04-19 2471浏览量

  • Hadoop2源码分析－准备篇

    1.概述 　　我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也 能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为 Hadoop...

    文章 smartloli 2016-04-25 2121浏览量

  • Hadoop2源码分析－准备篇

    1.概述 　　我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为Hadoop开发...

    文章 技术mix呢 2017-11-20 990浏览量

  • 万券齐发助力企业上云，爆款产品低至2.2折起！

    限量神券最高减1000，抢完即止！云服务器ECS新用户首购低至0.95折！

    广告

  • 《Hadoop与大数据挖掘》——2.7　本章小结

    本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.7节，作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.7　本章小结 本章首先介绍了Hadoop的基本概念、原理以及Hadoop生态系统各个框架。接着，介绍了...

    文章 华章计算机 2017-07-03 952浏览量

  • 《Hadoop与大数据挖掘》一2.7　本章小结

    本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ，第2.7节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.7　本章小结 本章首先介绍了Hadoop的基本概念、原理以及Hadoop生态系统各个框架。接着，介绍...

    文章 华章计算机 2017-06-26 1023浏览量

  • 《MapReduce 2.0源码分析与编程实战》一1.3 简单、粗暴、有效——这就是Hadoop

    本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.3节，作者： 王晓华 责编： 陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 简单、粗暴、有效——这就是Hadoop 2005年，IT界先锋Apache基金会率先提出了一种先进的不以关系型...

    文章 异步社区 2017-05-02 1193浏览量

  • 都是default惹的祸-yarn调度（一）-fair调度器drf调度策略作业不执行问题的调查和源码分析

    本文主要记录了fair调度器drf调度策略作业不执行问题的解决过程，重点介绍了调查方法和调查过程细节，希望对大家了解fair调度器有所帮助 。 除本人知乎专栏外，转载请联系我。 一．问题背景 yarn的调度器有capacity和fair两种，之间的区别可以自行谷歌。fair调度器（附录1）是...

    文章 鸿初 2018-05-11 2747浏览量

  • weekend110（Hadoop）的 第二天笔记

      01-NN元数据管理机制 02-NN工作机制2 03-DN工作原理 04-HDFS的JAVA客户端编写 05-filesystem设计思想总结 06-hadoop中的RPC框架实现机制 07-hadoop中的RPC应用实例demo 08-hdfs下载数据源码跟踪铺垫 09-hdfs下载数据源码...

    文章 技术小哥哥 2017-11-13 671浏览量

  • 高可用Hadoop平台－答疑篇

    1.概述 　　这篇博客不涉及到具体的编码，只是解答最近一些朋友心中的疑惑。最近，一些朋友和网友纷纷私密我，我总结了一下，疑问大致包含以下几点： 我学 Hadoop 后能从事什么岗位？ 在遇到问题，我该如何去寻求解决方案？ 　　针对以上问题，我在这里赘述下个人的经验，给即将步入 Hadoop 行...

    文章 smartloli 2016-04-19 1207浏览量

  • Hadoop报错：Failed to locate the winutils binary in the hadoop binary path

    1 发现问题在虚拟机中搭建了hadoop集群，在windows中通过代码访问报错 15/06/11 15:35:50 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOExc...

    文章 徐胖子 2016-12-05 6627浏览量

  • 高可用Hadoop平台－答疑篇

    1.概述 　　这篇博客不涉及到具体的编码，只是解答最近一些朋友心中的疑惑。最近，一些朋友和网友纷纷私密我，我总结了一下，疑问大致包含以下几点： 我学 Hadoop 后能从事什么岗位？ 在遇到问题，我该如何去寻求解决方案？ 　　针对以上问题，我在这里赘述下个人的经验，给即将步入 Hadoop 行...

    文章 技术mix呢 2017-11-20 579浏览量

  • 高可用Hadoop平台－答疑篇

    1.概述 　　这篇博客不涉及到具体的编码，只是解答最近一些朋友心中的疑惑。最近，一些朋友和网友纷纷私密我，我总结了一下，疑问大致包含以下几点： 我学 Hadoop 后能从事什么岗位？ 在遇到问题，我该如何去寻求解决方案？ 　　针对以上问题，我在这里赘述下个人的经验，给即将步入 Hadoop 行...

    文章 smartloli 2016-04-25 1212浏览量

  • Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

    引文 学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子，以大名鼎鼎的wordcount为例，你会输入以下命令： hadoop org.apache.hadoop.examples.WordCount -D mapreduce.input.fileinputformat.spli...

    文章 泰山不老生 2016-04-29 4203浏览量

  • 阿里封神谈hadoop生态学习之路

    引言 当前，越来越多的同学进入大数据行业，有的是底层的技术，有的是工程，有的是算法，有的是业务。每个产品、都需要工程化的实现，以前，工程师都是操练着java/python/c等各种语言操纵中各类的软件，比如jquery，spring、mysql，实现产品的业务逻辑。在大数据时代，要想个性化实现业务...

    文章 封神 2016-04-14 43698浏览量

  • 《Hadoop与大数据挖掘》一2.1.5　Hadoop生态系统

    本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ，第2.1.5节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1.5　Hadoop生态系统 如图2-12所示，Hadoop的生态圈其实就是一群动物在狂欢。我们...

    文章 华章计算机 2017-06-26 1250浏览量

  • Hadoop学习资源集合

    Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大...

    文章 readygo 2016-05-18 36781浏览量

  • 2013年北京hadoop in china见闻

    谈下这次参加中国hadoop技术峰会的收获，两天大约听了20场次，上午的是必听的，下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群，特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表，复杂点可能会涉及到一些机器学习...

    文章 封神 2016-04-20 1396浏览量

  • 《MapReduce 2.0源码分析与编程实战》一1.4 MapReduce与Hadoop

    本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.4节，作者： 王晓华 责编： 陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 MapReduce与Hadoop 如果将Hadoop比作一头大象的话，那么MapReduce就是那头大象的大脑...

    文章 异步社区 2017-05-02 1390浏览量

  • Apache Spark源码走读（三）Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

    <一>Spark on Yarn 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准，Spa...

    文章 许鹏 2016-09-14 4096浏览量

  • Hadoop2.x源码－编译剖析

    1.概述 　　最近，有小伙伴涉及到源码编译。然而，在编译期间也是遇到各种坑，在求助于搜索引擎，技术博客，也是难以解决自身所遇到的问题。笔者在被询问多 次的情况下，今天打算为大家来写一篇文章来剖析下编译的细节，以及遇到编译问题后，应该如何去解决这样类似的问题。因为，编译的问题，对于后期业务拓展， 二...

    文章 smartloli 2016-04-25 1220浏览量

  • Hadoop2.x源码－编译剖析

    1.概述 　　最近，有小伙伴涉及到源码编译。然而，在编译期间也是遇到各种坑，在求助于搜索引擎，技术博客，也是难以解决自身所遇到的问题。笔者在被询问多 次的情况下，今天打算为大家来写一篇文章来剖析下编译的细节，以及遇到编译问题后，应该如何去解决这样类似的问题。因为，编译的问题，对于后期业务拓展， 二...

    文章 smartloli 2016-04-25 1383浏览量

  • container-executor.cfg文件及其各级父路径问题解决方案

    一、背景       为了增加Hadoop CGroup来限制部分作业对CPU的占用，近日在搭建Hadoop-2.6.0的CGroup过程中，碰到了以下一个问题，提示如下（注：500为用户hadoop的id号）： File /opt/hadoop/hadoop-2.6.0/etc/hadoop/...

    文章 柏辰爸爸 2016-09-28 1230浏览量

  • Hadoop2.x源码－编译剖析

    1.概述 　　最近，有小伙伴涉及到源码编译。然而，在编译期间也是遇到各种坑，在求助于搜索引擎，技术博客，也是难以解决自身所遇到的问题。笔者在被询问多次的情况下，今天打算为大家来写一篇文章来剖析下编译的细节，以及遇到编译问题后，应该如何去解决这样类似的问题。因为，编译的问题，对于后期业务拓展，二次开...

    文章 技术mix呢 2017-11-16 757浏览量

  • Spark学习之Hadoop安装与测试

    Spark是跑在Hadoop上（依赖YARN和HDFS）的内存计算引擎，内置了多种丰富组件如Spark SQL、Spark Stream等，是大数据分析挖掘的一种技术趋势。本文为学习Spark技术的第一篇日志，主要记录了Hadoop环境的搭建、安装与测试。 资源准备 操作系统：CentOS 7 ；...

    文章 netbug_nb 2016-04-13 1310浏览量

  • 高可用Hadoop平台－Hue In Hadoop

    1.概述 　　前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录： Hue简述 Hue In Hadoop 截图预览 　　本文所使用的环境是Ap...

    文章 smartloli 2016-04-25 3245浏览量

  • 高可用Hadoop平台－Hue In Hadoop

    1.概述 今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录： Hue简述 Hue In Hadoop 截图预览 　　本文所使用的环境是Apache Hadoop-2.6版本，下面开始今天的内容分享。 2.Hue简述 　　Hue是一个开源的Apache Ha...

    文章 smartloli 2016-04-20 2690浏览量

  • 《深入理解Spark:核心思想与源码分析》——3.5节Hadoop相关配置及Executor环境变量

    本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第3章，第3.5节Hadoop相关配置及Executor环境变量，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.5　Hadoop相关配置及Executor环境变量3.5.1　Hadoop相关配置信息默认情况...

    文章 华章计算机 2017-05-02 818浏览量

  • 《深入理解Hadoop（原书第2版）》——导读

    前　　言 Hadoop已经进入Apache社区发展五年多了，使用Hadoop系统进行开发的工作仍然富于挑战但收获丰厚。本书第1版在若干年前就已经出版了，在这期间，Hadoop系统已经被越来越多的企业使用，自身也得到了飞速发展。 Hadoop2.0基于YARN框架做了全新升级，重写了Hadoop系统...

    文章 华章计算机 2017-05-02 1968浏览量

  • 玩转大数据-如何搭建hadoop集群

    看到题目有没有一种高大上的感觉？ 毛线，当前是个人、是个公司都在说自己搞大数据，每天没有几个PB的数据入库，每天没有几个TB的分析数据产出敢说自己是大数据？ 乘着大数据噱头之风，我们还是要看一下大数据所运用的工具对于我们是否有用，小编之前写项目时一直青睐于mysql，进来发现新的项目mysql已经...

    文章 丁小晶 2016-08-16 1040浏览量

  • 高可用Hadoop平台－Hue In Hadoop

    1.概述 　　前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录： Hue简述 Hue In Hadoop 截图预览 　　本文所使用的环境是Ap...

    文章 技术mix呢 2017-11-20 965浏览量

1 2 3 4 ... 13 >
写文章 提问题 去认证
在线学习 技能测试 视频直播

相关推荐

参与开发者用户调研得周边好礼

阿里巴巴镜像站改版升级上线啦！

云产品推荐

热门关键词

更多推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务