hadoop生态系统的架构图(转载)
转自:http://blog.csdn.net/babyfish13/article/details/52527665
1、hadoop1.0时期架构
2、hadoop2.
[Hive]JsonSerde使用指南
注意:
重要的是每行必须是一个完整的JSON,一个JSON不能跨越多行,也就是说,serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定,文件必须是可拆分的,例如,Hadoop将在行尾分割文本文件。
HAWQ技术总结
HAWQ技术总结:
1、 官网: http://hawq.incubator.apache.org/
2、 特性
2.1 sql支持完善
ANSI SQL标准,OLAP扩展,标准JDBC/ODBC支持。
基于Spark和Hive进行的豆瓣电影数据分析
写在前边的话:
算是自己做的一个小课题吧,自己搭建平台,自己爬取数据,自己进行数据清洗和分析,自己进行可视化展示,写这篇博客不为别的,只是记录下自己做这个课题的整个过程,大神们勿喷
环境说明:hadoop2.