Hadoop支持的文件格式之SequenceFile(下)

简介: Hadoop支持的文件格式之SequenceFile(下)

0x03 校验结果


1. 启动集群

a. 启动HDFS集群,

start-dfs.sh

2. 执行写SequenceFile文件格式代码

a. 直接在Win上执行,控制台会显示结果:


image.png


然后去集群也可以查看到结果:

hadoop fs -ls hdfs://master:9999/user/hadoop-sny/mr/filetype/
hadoop fs -cat hdfs://master:9999/user/hadoop-sny/mr/filetype/sequence.seq


image.png


b. 其实,还可以通过如下命令以Text格式查看二进制文件


hadoop fs -text hdfs://master:9999/user/hadoop-sny/mr/filetype/sequence.seq


image.png


注意,此处控制台打印的日志与写进文件的内容不一样,所以看到控制台其实是多打印了writer.getLength():


System.out.printf("[%s]\t%s\t%s\n", writer.getLength(), key, value);


PS:如果报权限错误:


Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/user/hadoop-sny":hadoop-sny:supergroup:drwxr-xr-x


解决方案:需要去集群里修改权限


hadoop fs -mkdir -p hdfs://master:9999/user/hadoop-sny/mr/filetype

hadoop fs -chmod 757 hdfs://master:9999/user/hadoop-sny/mr/filetype


3. 执行读SequenceFile文件格式代码

a. 也可以得到相应的结果


image.png


4. 执行写SequenceFile文件格式代码(HDFS)
hadoop fs -ls hdfs://master:9999/user/hadoop-sny/mr/filetype/


image.png


5. 执行读SequenceFile文件格式代码(HDFS)

a. 可以看到代码里写进去的结果


image.png


对应的打印代码为:

    String value = "shao";
    writer.write(new LongWritable(System.currentTimeMillis()), new Text(value));


0xFF 总结


Hadoop支持的文件格式系列:

Hadoop支持的文件格式之Text

Hadoop支持的文件格式之Avro

Hadoop支持的文件格式之Parquet

Hadoop支持的文件格式之SequenceFile

项目实战中,文章:网站用户行为分析项目之会话切割(二)中使用的存储格式是Parquet。


相关文章
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验03-Hadoop读取文件
【大数据开发技术】实验03-Hadoop读取文件
204 0
|
1月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
43 3
|
1月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
40 2
|
1月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
37 1
|
1月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
47 1
|
4月前
|
分布式计算 Hadoop Java
Hadoop编辑hadoop-env.sh文件
【7月更文挑战第19天】
301 5
|
4月前
|
分布式计算 Hadoop Shell
Hadoop修改bashrc或profile文件
【7月更文挑战第16天】
143 2
|
4月前
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
5月前
|
存储 分布式计算 NoSQL
|
5月前
|
数据采集 SQL 分布式计算

相关实验场景

更多
下一篇
无影云桌面