• 关于

    hadoop 设置内部网络

    的搜索结果
  • 独家 | 一文读懂Hadoop(一):综述

    随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印...

    文章 行者武松 2017-08-01 2193浏览量

  • MongoDB数据库勒索风波续:下一个目标是Hadoop和CouchDB

        不久之前 ,全球数万的 Mongo DB 数据库被勒索风波席卷,一时间灾情遍野。如今一波未平一波又起,网络安全专家预警:下一个遭遇黑客锁定的目标将是 Hadoop 和 CouchDB ,目前已出现灾情。 早在 1月12日,网络专家 Naill Merrigan 就发现有黑客组织 NODA...

    文章 boxti 2017-08-09 944浏览量

  • 《Hadoop实战第2版》——2.4节安装和配置Hadoop集群

    2.4 安装和配置Hadoop集群 2.4.1 网络拓扑通常来说,一个Hadoop的集群体系结构由两层网络拓扑组成,如图2-3所示。结合实际应用来看,每个机架中会有30~40台机器,这些机器共享一个1GB带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器,通常来说其网络交换能力为1GB或...

    文章 华章计算机 2017-08-01 944浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • Hadoop默认支持集成OSS,作为Hadoop兼容的文件系统

    背景 2017.12.13日Apache Hadoop3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统。OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系统。这是继Docker支持阿里云存储以后,又一个更重大的里程碑。这是阿里云...

    文章 whj. 2017-12-18 10542浏览量

  • 关于yum网络版仓库(本地yum仓库的安装配置,如果没网了,做一个局域网内的yum仓库)

    2017-11-13 22:49:48 1:两种方式:    a、每一台机器都配一个本地文件系统上的yum仓库 file:///packege/path/  b、在局域网内部配置一台节点(server-base)的本地文件系统yum仓库,然后将其发布到web服务器中,其他节点就可以通过http:/...

    文章 biehl 2017-11-13 1035浏览量

  • Hadoop命令手册

    本文讲的是Hadoop命令手册,【IT168 资讯】所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OP...

    文章 轩墨 2017-09-15 1541浏览量

  • 阿里、Databricks、Intel的十位专家和你细聊Hadoop技术实践及生态

    中国云计算产业最具影响力的盛会之一——2016杭州云栖大会(https://yunqi.aliyun.com/)将在云栖小镇召开。连续举办七届的云栖大会一直是业界了解阿里云计算生态发展和应用趋势、体验前沿技术和产品的最佳平台,来自海内外的上万名开发者、创业者聚集于此,分享着他们对云计算的思考与实践...

    文章 云学习小组 2016-09-21 8587浏览量

  • 《R与Hadoop大数据分析实战》一2.3 Hadoop MapReduce原理

    本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章,第2.3节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.3 Hadoop MapReduce原理 为了更好地理解MapReduce的工作原理,我们将会:学习MapR...

    文章 华章计算机 2017-07-03 1389浏览量

  • 《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

    本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.1节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第2章 大数据存储与运算利器—Hadoop 本章主要介绍了Hadoop框架的概念、架构、组件、生态系统以及...

    文章 华章计算机 2017-07-03 2099浏览量

  • 《Hadoop集群与安全》一1.1 选择Hadoop集群硬件

    本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.1节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.1 选择Hadoop集群硬件 Hadoop是可扩展的集群,它采用非共享系统处理大规...

    文章 华章计算机 2017-07-03 2101浏览量

  • Hadoop的namenode的管理机制,工作机制和datanode的工作原理

    HDFS前言:   1) 设计思想     分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;   2)在大数据系统中作用:     为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务   3)重点概念:...

    文章 biehl 2017-09-03 1386浏览量

  • Hadoop数据迁移MaxCompute最佳实践

    本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。 1.  环境准备 1.1 Hadoop集群搭建 进行数据迁移前,您需要保证自己的Hadoop集群环境正常。本文使用阿里云EMR服务自动化搭建Hadoop集群,详细过程请...

    文章 付帅 2018-09-10 9044浏览量

  • 《智能数据时代:企业大数据战略与实战》一2.5 现在和将来的数据仓库

    本节书摘来自华章出版社《智能数据时代:企业大数据战略与实战》一书中的第2章,第2.5节,作者 TalkingData ,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.5 现在和将来的数据仓库 IT团队可能已经列出了目前信息架构的详细图表。当我们开始研究信息架构的发展过程时,这些图表可以...

    文章 华章计算机 2017-05-02 1090浏览量

  • 《Hadoop集群与安全》一2.2 设置NameNode

    本节书摘来自华章出版社《Hadoop集群与安全》一书中的第2章,第2.2节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.2 设置NameNode 在本节中,我们将一步一步对NameNode服务进行安装以...

    文章 华章计算机 2017-07-03 2896浏览量

  • Hbase客户端API基础小结笔记(未完)

    客户端API:基础   HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的,通过这个类,用户可以完成向HBase存储和检索数据,以及删除无效数据之类的操作。   通常在正常负载下和常规操作下,客户端读操作不会受到其他修改数据的客户端...

    文章 松伯 2016-05-28 714浏览量

  • 0001-CDH网络要求(Lenovo参考架构)

    1.组网配置 建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。2.数据网络 数据网络是用于数据访问的节点之间的私有集群数据互连,比如在集群内的节点之间移动数据,或者将数据导入到CDH集群。CDH集群通常会连接到企业内部的数据网络。 需要2个TOR交换机:一个是用作带外管理,一个是...

    文章 hadoop实操 2018-11-10 1102浏览量

  • Hadoop2源码分析-RPC探索实战

    1.概述   在《Hadoop2源码分析-RPC机制初识》博客中,我们对RPC机制有了初步的认识和了解,下面我们对Hadoop V2的RPC机制做进一步探索,在研究Hadoop V2的RPC机制,我们需要掌握相关的Java基础知识,如:Java NIO、动态代理与反射等。本篇博客介绍的内容目录如下...

    文章 smartloli 2016-04-20 1823浏览量

  • Hadoop2源码分析-RPC探索实战

    1.概述   在《Hadoop2源码分析-RPC机制初识》博客中,我们对RPC机制有了初步的认识和了解,下面我们对Hadoop V2的RPC机制做进一步探索,在研究Hadoop V2的RPC机制,我们需要掌握相关的Java基础知识,如:Java NIO、动态代理与反射等。本篇博客介绍的内容目录如下...

    文章 smartloli 2016-04-25 1333浏览量

  • MapReduce任务参数调优

    本文主要记录Hadoop 2.x版本中MapReduce参数调优,不涉及Yarn的调优。 Hadoop的默认配置文件(以cdh5.0.1为例): core-default.xml hdfs-default.xml mapred-default.xml 说明: 在hadoop2中有些参数名称过...

    文章 雨客 2016-04-08 2731浏览量

  • 《Hadoop实战第2版》——3.2节MapReduce计算模型

    3.2 MapReduce计算模型 要了解MapReduce,首先需要了解MapReduce的载体是什么。在Hadoop中,用于执行MapReduce任务的机器有两个角色:一个是JobTracker,另一个是TaskTracker。JobTracker是用于管理和调度工作的,TaskTracker...

    文章 华章计算机 2017-08-01 961浏览量

  • hadoop文件系统与I/O流

    hadoop借鉴了Linux虚拟文件系统的概念,引入了hadoop抽象文件系统,并在此基础上,提供了大量的具体文件系统的实现,满足构建于hadoop上应用的各种数据访问需求 hadoop文件系统API hadoop提供一个抽象的文件系统,HDFS只是这个抽象文件系统的一个具体的实现。hadoop文...

    文章 wuyudong 2016-04-21 2154浏览量

  • 理论与实践:如何从Hadoop迁移到MaxCompute

    摘要:MaxCompute大数据计算服务,能提供快速、完全托管的PB级数据仓库解决方案,能够使用户经济且高效地分析处理海量数据。而用户往往之前使用了Hadoop实现大数据计算任务,在选择了阿里云大数据计算服务之后,如何从Hadoop向MaxCompute进行迁移就成为了一个需要面对的问题了。在本文...

    文章 午夜漫步者 2018-09-13 2785浏览量

  • Hadoop专业解决方案-第5章 开发可靠的MapReduce应用

    本章主要内容: 1、利用MRUnit创建MapReduce的单元测试。 2、MapReduce应用的本地实例。 3、理解MapReduce的调试。 4、利用MapReduce防御式程序设计。 在WOX.COM下载本章源代码 本章在wox.com网站的源码可以在www.wiley.com/go/pr...

    文章 胖子哥 2016-04-19 2008浏览量

  • Hadoop专业解决方案-第5章 开发可靠的MapReduce应用

    本章主要内容: 1、利用MRUnit创建MapReduce的单元测试。 2、MapReduce应用的本地实例。 3、理解MapReduce的调试。 4、利用MapReduce防御式程序设计。 在WOX.COM下载本章源代码 本章在wox.com网站的源码可以在www.wiley.com/go/pr...

    文章 阿尔法胖哥 2014-04-01 630浏览量

  • HDFS的distcp命令两个HDFS集群间传送数据

     Java API等多种接口对HDFS访问模型都集中于单线程的存取,如果要对一个文件集进行操作,就需要编写一个程序来执行并行操作。HDFs提供了一个非常实用的程序——distcp ,用来在Hadoop文件系统中并行地复制大数据量文件。distcp一般适用于在两个HDFS集群间传送数据的情况。如果两...

    文章 余二五 2017-11-15 1384浏览量

  • shell命令使用HDFS的distcp命令

     Java API等多种接口对HDFS访问模型都集中于单线程的存取,如果要对一个文件集进行操作,就需要编写一个程序来执行并行操作。HDFs提供了一个非常实用的程序——distcp ,用来在Hadoop文件系统中并行地复制大数据量文件。distcp一般适用于在两个HDFS集群间传送数据的情况。如果两...

    文章 技术小哥哥 2017-11-21 1535浏览量

  • hadoop源码分析解读入门

    hadoop 源代码分析(一)   Google 的核心竞争技术是它的计算平台。HadoopGoogle的大牛们用了下面5篇文章,介绍了它们的计算设施。   Google的几篇论文   GoogleCluster:http://research.google.com/archive/googlec...

    文章 技术小哥哥 2017-11-22 3720浏览量

  • Spark On YARN内存分配

    本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深入研究Spark的源代码,所以只能根据日志去看相关的源代码,从而了解“为什么会这样,为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同,Spark on YARN有两种模式: yarn-client模...

    文章 雨客 2016-04-08 5814浏览量

  • Hadoop HDFS概念学习系列之shell命令使用HDFS的一些其他命令(十九)

    其他相关命令还包括以下这些:   NameNode  -format :  格式化DFS文件系统   secondaryNameNode :   运行DFS的SecndaryNameNode进程   NameNode  :  运行DFS的NameNode进程   DataNode  :  运行DF...

    文章 技术小哥哥 2017-11-13 1277浏览量

  • Centos6.7系统的虚拟机网络配置教程

    前几天分享了如何在vSphere Client的虚拟机上安装Centos6.7操作系统。至此,虚拟机的驱壳是已经搭建好了的,接下来是虚拟机内部的设置。今天小编将分享如何给centos6.7系统的虚拟机配置网络。 一、静态网络配置 1、打开虚拟机,输入账号和密码进行登录。 2、之后输入...

    文章 python进阶者 2018-03-15 841浏览量

1 2 3 4 ... 10 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT