hive sql注意事项
hive sql注意事项
如果是按时间分区的表，查询时一定要使用分区限制，如果没有分区限制，会从该表的所有数据里面遍历。
注意sql中or的使用，or 这个逻辑必须单独括起来，否则可能引起无分区限制，下面举个例子，想查询到的是gd或gx的某天的数据。
Flink落HDFS数据按事件时间分区解决方案
0x1 摘要
Hive离线数仓中为了查询分析方便，几乎所有表都会划分分区，最为常见的是按天分区，Flink通过以下配置把数据写入HDFS，
BucketingSink<Object> sink = new BucketingSink<>(path);
//通过这样的方式来实现数据跨天分区
sink.
hadoop生态系统的架构图（转载）
转自：http://blog.csdn.net/babyfish13/article/details/52527665
1、hadoop1.0时期架构
2、hadoop2.
[Hive]JsonSerde使用指南
注意：
重要的是每行必须是一个完整的JSON，一个JSON不能跨越多行，也就是说，serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定，文件必须是可拆分的，例如，Hadoop将在行尾分割文本文件。
