Dremio案例_Hive数据分析
说明
Dremio-3.3.1支持Hive-2.1.1版本
1.Hive批量导入数据
a).创建表
## 创建文本数据导入表
CREATE TABLE IF NOT EXISTS database.table_name(
agent_id int,
accept_time string,
...
面试官:说出八种消息队列的应用场景。啊?八种?
本文来源于公众号:胖滚猪学编程。转载请注明出处!
一个风度翩翩,穿着格子衬衣的中年男子,拿着一个满是划痕的mac向她走来,看着铮亮的头,胖滚猪心想,这肯定是尼玛顶级架构师吧!完了要挂了。
结果面试官第一个问题,就让胖滚猪内心暗喜
面试官:消息队列这东西,你还熟悉吧?消息队列在企业中的应用场景有哪些?
(这么基础的问题,手到擒来好吗?原来阿里不过如此。
Hive过滤脏数据的一些经验
如下文件需要处理,每个文件大概13G,其中字段以空格(32)分隔的7个字段;最麻烦的是中间有脏数据:
-rw-r--r-- 1 hadoop ifengdev 1895843464 May 6 14:56 feedback201503_201.