用puthivestreaming把hdfs里的数据流到hive表-阿里云开发者社区

开发者社区> 大数据> 正文
登录阅读全文

用puthivestreaming把hdfs里的数据流到hive表

简介:

全景图:

NewImage

 

1. 创建hive表

1
2
3
4
5
6
7
CREATE TABLE IF NOT EXISTS newsinfo.test(
  name STRING
)
CLUSTERED BY (name)INTO 3 BUCKETS
ROW FORMAT DELIMITED
STORED AS ORC
TBLPROPERTIES('transactional'='true');
1
  

2. 这里用了 ReplaceText 生成 json 数据 (正式环境可以直接从hfs里取到)

NewImage

 

3. 用ConvertJSONToAvro 转换json 到avro

NewImage

{ "name": "dtu", "type": "record", "fields":[ { "name":"name","type": "string" } ] }

 

 

4. PutHiveStreaming

NewImage

 

本文转自疯吻IT博客园博客,原文链接:http://www.cnblogs.com/fengwenit/p/5928368.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章
最新文章
相关文章