常见的压缩格式:Snappy,LZO,Gzip,bzip2,deflate
常见的存储格式:
储存格式指的是Hdfs 中存储文件的格式，常用的有SequnceFile、RCFile、Parquet和TextFile
SequnceFile
RCFile:
ORCFile:
Parquet :
hadoop中压缩及存储常见格式图解
2023-12-22
30
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
hadoop中压缩及存储常见格式图解
目录
相关文章
|
7天前
|
存储
分布式计算
Hadoop
Hadoop数据块分散存储NameNode管理
【4月更文挑战第17天】Hadoop是一个开源的分布式计算框架，依赖HDFS进行分布式存储。文件被分割成数据块分散在DataNode上，NameNode负责元数据管理和协调，确保数据可靠性。NameNode的高可用性配置能防止单点故障，保证系统稳定性。这套机制支持高效、可靠和可扩展的大数据存储与访问。
15
3
3
|
7天前
|
存储
分布式计算
Hadoop
Hadoop数据块分散存储数据块大小
【4月更文挑战第17天】Hadoop的 数据块大小影响文件在HDFS中的切分与存储。默认值为64MB、128MB或256MB，可按需调整。选择数据块大小需平衡访问模式、存储效率、网络带宽和磁盘I/O。大块减少元数据，但可能降低读取效率；小块提高读取效率，却增大元数据和网络开销。应用需求决定块大小，如小文件读取频繁则选小块，大文件存储选大块。设置前需全面考虑集群需求，遵循官方文档和最佳实践。
14
3
3
|
4月前
|
存储
分布式计算
资源调度
|
4月前
|
存储
分布式计算
Hadoop
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)
56
2
2
|
4月前
|
存储
分布式计算
Apache
|
8月前
|
分布式计算
算法
Hadoop
|
存储
分布式计算
Hadoop
|
存储
缓存
分布式计算
Hadoop中HDFS的读写流程（面试重点）、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知（副本存储节点选择）
Hadoop中HDFS的读写流程（面试重点）、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知（副本存储节点选择）
224
0
0
|
18天前
|
存储
分布式计算
Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架，核心包括MapReduce和HDFS，用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势，但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统，DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
46
2
2
|
18天前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
48
1
1
热门文章
最新文章
1
利用Hive与Hadoop构建大数据仓库：从零到一
2
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
3
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
4
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
5
大数据处理架构Hadoop
6
大数据技术与Python：结合Spark和Hadoop进行分布式计算
7
【Hadoop】HDFS 读写流程
8
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
9
Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
10
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）