lzo文件创建索引

简介:

lzo文件默认不支持split,创建索引后支持split,这样作为map输入时就可以将文件分割成多个map,否则只能有一个map


创建索引,执行:


hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/hadoop-lzo-0.6.0.2.2.6.0-2800.jar  com.hadoop.compression.lzo.DistributedLzoIndexer  hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo


说明:可以只写到hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/ 目录层


索引文件:


 hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo.index










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1898507,如需转载请自行联系原作者
目录
相关文章
|
4月前
创建或提取归档文件 - cpio
【1月更文挑战第8天】
52 0
|
29天前
|
索引
filebeat如何索引csv文件
Filebeat通常用于收集、解析和发送日志和事件数据,但是如果你想索引CSV文件,你可能需要额外的配置和插件。在Elastic Stack中,Logstash更适合处理CSV文件的解析和索引。以下是一个基本的步骤: 1. **安装Filebeat和Logstash**:首先确保你已经安装了Filebeat和Logstash,并且它们正在运行。 2. **配置Filebeat**:在Filebeat配置文件中添加一个新的输入,指向你的CSV文件。例如: ```yaml filebeat.inputs: - type: log paths: - /
|
11月前
|
Linux
Linux文件系统(三)文档压缩及解压缩
Linux文件系统(三)文档压缩及解压缩
|
SQL 存储 分布式计算
关于Presto对lzo压缩的表查询使用记录
关于Presto对lzo压缩的表查询使用记录
121 0
关于Presto对lzo压缩的表查询使用记录
|
Linux Shell Windows
linux中的tar打包、压缩多个文件、磁盘查看和分区类、du查看文件和目录占用的磁盘空间linux中的grep 过滤查找及“|”管道符、gzip/gunzip 压缩、zip/unzip 压缩
linux中的tar打包、压缩多个文件、磁盘查看和分区类、du查看文件和目录占用的磁盘空间linux中的grep 过滤查找及“|”管道符、gzip/gunzip 压缩、zip/unzip 压缩
linux中的tar打包、压缩多个文件、磁盘查看和分区类、du查看文件和目录占用的磁盘空间linux中的grep 过滤查找及“|”管道符、gzip/gunzip 压缩、zip/unzip 压缩
|
分布式数据库 数据库 Hbase