开发者社区> 异步社区> 正文

《Hadoop MapReduce实战手册》一第2章 HDFS进阶

2017-05-02 1648

简介：
+关注继续查看

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.1节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

第2章 HDFS进阶

Hadoop MapReduce实战手册
本章将学习以下内容：

  • HDFS基准测试
  • 添加一个新的DataNode
  • DataNode下架
  • 使用多个磁盘/卷以及限制HDFS的磁盘使用
  • 设置HDFS块大小
  • 设置文件的冗余因子
  • 使用HDFS的Java API
  • 使用HDFS的C API（libhdfs）
  • 挂载HDFS（Fuse-DFS）
  • 在HDFS中合并文件

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

分布式计算 Java Hadoop 测试技术 API
hadoop hdfs 文件存储HDFS版hadoop hadoop进阶 文件存储HDFS版mapreduce 开源大数据平台 E-MapReduce hadoop
开发者社区 > 开发与运维 > 文章
云迁移中心
作者高分内容
更多
流式计算领域新霸主Flink的那些事儿 3263 每一页都是干货，这10本Python新书，我必须推荐给你 4445 小长假归来，８本最新上架新书在此等候 2610 豆瓣评分9.1，这本计算机经典名著，我读到凌晨三点 2719 9月书讯：别抱怨读书苦，那是你看世界的路 1925
相关文章
异步社区
《Hadoop MapReduce实战手册》一导读
本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始，但仍然可以看到深入的内容。这是一本简单的一站式指南，传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略，给出了一步步的指导和真实环境的应用示例。
2093 0
异步社区
《Hadoop MapReduce实战手册》一2.11 在HDFS中合并文件
1512 0
异步社区
《Hadoop MapReduce实战手册》一2.10 挂载HDFS（Fuse-DFS）
1897 0
异步社区
《Hadoop MapReduce实战手册》一2.9 使用HDFS的C API（libhdfs）
2073 0
异步社区
《Hadoop MapReduce实战手册》一2.8 使用HDFS的Java API
2253 0
异步社区
《Hadoop MapReduce实战手册》一2.7 设置文件冗余因子
1858 0
异步社区
《Hadoop MapReduce实战手册》一2.6 设置HDFS块大小
1713 0
异步社区
《Hadoop MapReduce实战手册》一2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况
1785 0
异步社区
《Hadoop MapReduce实战手册》一2.4 DataNode下架
1255 0
异步社区
《Hadoop MapReduce实战手册》一2.3 添加一个新的DataNode
1692 0
+关注
异步社区
异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区，也是国内领先的IT专业图书社区，致力于优质学习内容的出版和分享，实现了纸书电子书的同步上架，于2015年8月上线运营。公众号【异步图书】，每日赠送异步新书。
文章
问答
作者高分内容
更多
流式计算领域新霸主Flink的那些事儿 3263 每一页都是干货，这10本Python新书，我必须推荐给你 4445 小长假归来，８本最新上架新书在此等候 2610 豆瓣评分9.1，这本计算机经典名著，我读到凌晨三点 2719 9月书讯：别抱怨读书苦，那是你看世界的路 1925
文章排行榜
最热
最新
1 fastjson2为什么这么快 74541
2 Meetup 报名丨 共话云原生架构升级，微服务x容器开源 Meetup 北京站来啦！ 64504
3 CVPR2021 | 视觉推理解释框架VRX：用结构化视觉概念作为解释网络推理逻辑的「语言」 63486
4 结构化总结与结构化思考之《金字塔原理》总结 56289
5 实现人机协同高稳定性，阿里云5G专网IoT方案入选工信部优秀解决方案 54099
6 C语言题解 | 移除元素(多种解法) 49963
7 jasypt-spring-boot敏感信息加密解密利器使用指南 47644
8 快速开发光伏电站数字孪生运维系统（一） 44656
9 DataWorks管控台无法配置PAI引擎临时解决方案 42514
10 Hive数据倾斜的原因以及常用解决方案 33179
11 高并发编程之阻塞队列 32723
12 Spring 事务【隔离级别与传播机制】 30484
13 性能优化之使用vue-worker插件（基于Web Worker）开启多线程运算提高效率 29490
14 计网之初识网络(理解网络传输的基本流程) 28008
15 Android体系课之--LeakCanary内存泄露检测原理解析 25929
16 零基础快速开发Vue图书管理系统—登录注册篇（一） 22676
17 IoT设备数据的存储、解析和价值挖掘实践 22645
18 IoT Studio 物联网可视化应用搭建开发实践 21295
19 开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化 16351
20 快速开发光伏电站数字孪生运维系统（二） 14900
1 Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架 148
2 ChatGPT4 给出数据库开发者最容易犯的 10 个错误和解决方案 59
3 性能最大提升60%，阿里云第八代企业级实例ECS g8i正式上线 148
4 [版本更新]PolarDB-X v2.2.1 生产级关键能力开源升级 54
5 身份证实名认证接口验证不一致的原因 113
6 JVM学习.03 类加载机制 102
7 org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Cannot deserialize instance of `object` out of START_ARRAY token 178
8 Content type 'application/x-www-form-urlencoded;charset=UTF-8' not supported 215
9 云原生学习（二） 59
10 官宣｜Apache Flink 1.17 发布公告 376
11 Java智慧校园电子班牌系统源码 基于Java+springboot+vue+element-ui+mysql开发 63
12 基于阿里云eRDMA的GPU实例大幅提升多机训练性能 272
13 基于阿里云弹性GPU服务的神龙AI加速引擎无缝提升AI训练性能 215
14 重构计算，驱动视界：阿里云视觉计算思考与实践 199
15 如何构建可持续的ChatGPT高性能服务器端架构? 61
16 当一座钢铁森林 变成IoT智能化数据 58
17 阿里巴巴发布《城市数字孪生能力平台总体技术要求》企业标准， 促进数字孪生互联互通生态建设 361
18 docker的安装与镜像 63
19 初识Kafka 72
20 基础篇丨链路追踪（Tracing）其实很简单 170
相关课程
更多
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
235
28
去学习
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
96
19
去学习
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
116
32
去学习
大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
168
21
去学习
大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
313
9
去学习
快速掌握Hadoop集成Kerberos安全技术
186
15
去学习
推荐文章
参与OCR文档自学习产品评测，赢Airpods 2 参与云效代码管理Codeup评测，赢Redmi Watch 3 参与IoT小程序框架评测，赢CHERRY机械键盘 乘风者计划邀您入驻社区，精彩权益即刻享
相关电子书
更多
Why is my Hadoop* job slow
立即下载
Hadoop存储与计算分离实践
立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
立即下载