大数据开发的工具有哪些?
大数据开发的工具有哪些?
作为一个大数据开发人员，每天要与使用大量的大数据工具来完成日常的工作，那么目前主流的大数据开发工具有哪些呢？加米谷大数据为大家介绍下大数据开发工具
Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
hive分区表
Partition 对应于数据库的 Partition 列的密集索引
在 Hive 中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中
例如：
test表中...
Hive 工作原理详解
什么是Hive？
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
数据仓库、数据湖、流批一体，终于有大神讲清楚了！
数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落地，系统设计该怎么做？
Hive几种参数配置方法（转载）
转自：https://www.iteblog.com/archives/871.html
Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。
基于Ubuntu Hadoop的群集搭建Hive
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。
1.安装MySQL
1.1安装MySQL Server
在Ubuntu下面安装MySQL的Server很简单，只需要运行：
sudo apt-get install mysql-server
系统会把MySQL下载并安装好。