开发者社区 问答 正文

hive 能否读取snappy 压缩的json文件?

RRPD_I4J_3B_X_6_NVEDCM

日志文件为json 的snappy 压缩文件。

如果hive 不支持的话, 需要EMapreduce 先进行mapreduce 处理, 后才用hive load 数据

展开
收起
风自东来 2016-10-22 14:00:20 6695 分享 版权
1 条回答
写回答
取消 提交回答
  • 在hive中你先建立一个外表表,同时指定 ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 序列化与反序列化为json格式, 然后在压缩方面选取snappy即可。 SET hive.exec.compress.output=true; SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; SET mapred.output.compression.type=BLOCK;

    2019-07-17 20:18:46
    赞同 展开评论