hadoop查看大文件系统

  • Hadoop框架:HDFS简介与Shell管理命令

    本文源码:GitHub·点这里 || GitEE·点这里 一、HDFS基本概述 1、HDFS描述 大数据领域一直面对的两大核心模块:数据存储,数据计算,HDFS作为最重要的大数据存储技术,具有高度的容错能力,稳定而且可靠。HDFS(Hadoop-Distributed-File-System),...

    文章 知了一笑 2020-09-29 177浏览量

  • hadoop命令——hdfs

    hdfs是hadoop大体系下的分布式文件管理系统,是英文Hadoop Distributed File System的简写,其常用命令如下: 一:fs命令(和Linux终端运行命令一致,也是hdfs最常用命令) 二:其他相关命令 1、hadoop 归档文件shell: hadoop archi...

    文章 thinkgamer.cn 2015-07-11 561浏览量

  • Hadoop HBase 单机环境简单配置教程

    写在前面: Hadoop是Apache的一个项目,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Distributed File System),其存储和数据...

    文章 知与谁同 2017-08-01 6888浏览量

  • 阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

    学生动手场景应用,快速了解并掌握云服务器的各种新奇玩法!

    广告

  • 《深入理解大数据:大数据处理与编程实践》一一2.5 集群远程作业提交与执行

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第2章,第2.5节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.5 集群远程作业提交与执行 2.5.1 集群远程作业提交和执行过程Hadoop程序开发...

    文章 华章计算机 2017-07-04 932浏览量

  • Hadoop大数据平台实战(00):Linux Ubuntu 18.04实战安装大数据Hadoop 3.1.2版本 单节点模式

    Linux Ubuntu 18.04实战安装大数据Hadoop 3.1.2版本。这里分别选择最新的Ubuntu系统 18.04,以及最新的Hadoop版本3.1.2Hadoop是开源免费的大数据方案,官方网站https://hadoop.apache.org/,核心的组件都是使用Java开发,也是...

    文章 徐雷frank 2019-03-30 2137浏览量

  • Hadoop大象之旅009-通过Shell操作hdfs

    Hadoop大象之旅009-通过Shell操作hdfs                                                                老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args&g...

    文章 非常老帅 2014-12-09 668浏览量

  • [喵咪大数据]Hadoop单机模式

    千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务调度,计算处理,本机我们在单机模式下把Hadoop运行起来并且简单的使用接触Hadoop相关的机制...

    文章 喵了个咪_ 2020-08-11 9浏览量

  • 一个 Hadoop 老兵的自白

    Apache Hadoop 是一个免费软件,但实际上,除非是拥有庞大工程师团队的大公司,否则最好不要去创建仅供内部使用的Hadoop版本,因为如果要购买技术支持,那 Hadoop 就不是免费的了。Jim Scott 是 MapR 企业战略&架构部门的负责人。2009年,他接触了自己的第一个...

    文章 行者武松 2017-06-03 943浏览量

  • 《R与Hadoop大数据分析实战》一1.4 Hadoop的安装

    本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第1章,第1.4节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.4 Hadoop的安装 现在假定你已经了解了R语言,知道它是什么,如何安装它,它的主要特点是什么,以及为什么...

    文章 华章计算机 2017-07-03 2006浏览量

  • 云计算读书笔记(五)

    Hadoop:Google云计算的开源实现 Hadoop是Apache开源组织的一个分布式计算机框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。 Hadoop的核心是HDFS,MapReduce和HBase...

    文章 skyme张 2011-10-19 659浏览量

  • 云计算读书笔记(五)

    Hadoop:Google云计算的开源实现 Hadoop是Apache开源组织的一个分布式计算机框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。 Hadoop的核心是HDFS,MapReduce和HBase...

    文章 skyme 2016-04-25 1430浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一2.2 单机和单机伪分布式Hadoop系统安装基本步骤

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第2章,第2.2节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 单机和单机伪分布式Hadoop系统安装基本步骤 默认情况下,Hadoop被配置成一...

    文章 华章计算机 2017-07-04 999浏览量

  • hadoop分布式集群搭建

    终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。另外有大数据实践经验的网友请联系我,有问题请教谢谢! Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群...

    文章 纯洁的虫纸 2017-08-11 1046浏览量

  • 《Hadoop大数据分析与挖掘实战》——2.5节小结

    本节书摘来自华章社区《Hadoop大数据分析与挖掘实战》一书中的第2章,第2.5节小结,作者张良均 樊哲 赵云龙 李成华 ,更多章节内容可以访问云栖社区“华章社区”公众号查看 2.5 小结本章从介绍大数据基础概念讲起,引入了Hadoop大数据处理平台,简要介绍了Hadoop以及Hadoop生态系统...

    文章 华章计算机 2017-05-02 989浏览量

  • hadoop介绍

    以下内容是我的学习笔记,网络课程的笔记。出处 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throu...

    文章 友弟 2018-08-30 2265浏览量

  • 大创1-Hadoop安装笔记

    最近老师叫做一个大数据的项目,虽然对大数据云计算不是很了解,但好像很牛逼的样子。本着学习的态度还是决定要好好坐下去。这个分类下的文章就作为项目的开发记录吧。 第一周计划:了解Hadoop和MapReduce Hadoop安装笔记(环境为Linux mint14): 1.首先在网上找一篇博客,一不小...

    文章 动感小前端 2013-11-05 1043浏览量

  • 《Hadoop大数据分析与挖掘实战》——2.1节概述

    本节书摘来自华章社区《Hadoop大数据分析与挖掘实战》一书中的第2章,第2.1节概述,作者张良均 樊哲 赵云龙 李成华 ,更多章节内容可以访问云栖社区“华章社区”公众号查看 2.1 概述2.1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。Hadoop以分...

    文章 华章计算机 2017-05-02 1586浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一1.4 Hadoop系统简介

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第1章,第1.4节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4 Hadoop系统简介 1.4.1 Hadoop的概述与发展历史Hadoop系统最初...

    文章 华章计算机 2017-07-04 756浏览量

  • 《Hadoop与大数据挖掘》一2.3.5 动手实践:运行MapReduce任务

    本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.3.5节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.3.5 动手实践:运行MapReduce任务 实验步骤如下:1)上传/root/anaconda...

    文章 华章计算机 2017-06-26 1067浏览量

  • 《Hadoop MapReduce性能优化》一1.2 Hadoop MapReduce概述

    本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第1章,第1.2节,作者: 【法】Khaled Tannir 译者: 范欢动 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 Hadoop MapReduce概述 Hadoop MapReduce性...

    文章 异步社区 2017-05-02 1043浏览量

  • Hadoop使用(二)

    前提和设计目标 硬件错误 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成,每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的,而且任一组件都有可能失效,这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目...

    文章 skyme 2016-04-25 1190浏览量

  • 使用E-MapReduce服务处理阿里云文件存储(NAS)的数据

    简介 文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。E-MapReduce服务是阿里云上的开源大数据解决方案,可以帮用户构建基于Hadoop等开源组件的大...

    文章 云无谓 2016-12-12 3282浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一3.4 HDFS文件系统操作命令

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第3章,第3.4节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.4 HDFS文件系统操作命令 通过之前章节的学习,相信各位读者对HDFS已经有了一个基...

    文章 华章计算机 2017-07-04 1370浏览量

  • E-MapReduce HDFS文件快速CRC校验工具介绍

    背景 在大数据应用场景下经常有数据文件的迁移工作,如果保障迁移之后数据的完整性是一个很常见的问题。对本地文件系统的数据而言,我们一般用md5工具(在Linux下可用md5sum命令)。 而对云存储上的文件来说,md5不一定满足需求。比如阿里云OSS文件并没有提供md5校验值,而是提供了CRC64校...

    文章 云无谓 2017-08-01 3411浏览量

  • 独家 | 一文读懂Hadoop(一):综述

    随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印...

    文章 行者武松 2017-08-01 2125浏览量

  • hadoop fsck健康检查

    昨天下午的时候检查生产环境的hadoop集群时,发现异常情况如下图: 简要的说明上图的意思,说明有这些文件没有满足副本份数,我副本份数设置的为2份,刚刚起初以为是这个文件只有一个副本了,结果去每台datanode上面去find第一个上图报的block文件时,每台datanode上都有这个b...

    文章 split_two 2012-12-07 1254浏览量

  • 《Hadoop集群与安全》一1.3 为Hadoop集群选择操作系统

    本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.3节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.3 为Hadoop集群选择操作系统 为Hadoop集群选择操作系统是一项相对简单的...

    文章 华章计算机 2017-07-03 845浏览量

  • hadoop源代码组织结构与阅读技巧

    1 . 查看一个基类或接口的派生类或实现类 在 Eclipse 中, 选中 某个基类或接口名称,右击,在弹出 的快捷菜单中选择“ Quick Type Hierarchy”, 可在新窗口中看到对应的所有派生类或实现类。 例如, 打开 src\mapred\ 目 录下 org.apache.hado...

    文章 wuyudong 2016-04-21 1746浏览量

  • 大数据||HDFS的API在JAVA中进行新增、删除、查看目录

    1、在HDFS文件系统中新增目录 新增代码 查看结果 2、删除目录 删除代码 查看结果 3、查看目录 代码 执行结果 代码 package com.lizh.hadoop.hdfs; import ...

    文章 突突修 2018-02-08 893浏览量

  • 菜鸟的Hadoop快速入门

    一、相关概念 1、大数据 大数据是一门概念,也是一门技术,是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架,还包括实时数据处理,离线数据处理,数据分析,数据挖掘和用机器算法进行预测分析等技术。 2、Hadoop Hado...

    文章 数澜科技大数据 2019-08-02 6245浏览量

1 2 3 4 ... 28 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板