1 Apache Impala简介

• impla是个实时的sql查询工具，类似于hive的操作方式，只不过执行的效率极高，号称当下大数据生态圈中执行效率最高的sql类软件
• impala来自于cloudera，后来贡献给了apache
• impala工作底层执行依赖于hive 与hive共用一套元数据存储。在使用impala的时候，必须保证hive服务是正常可靠的，至少metastore开启。

• impala最大的跟hive的不同在于 不在把sql编译成mr程序执行 编译成执行计划数（勘误：计划树）。
• impala的sql语法几乎兼容hive的sql语句。

impala是一个适用于实时交互查询的sql软件 hive适合于批处理查询的sql软件。通常是两个互相配合。

• impala 可以集群部署
• Impalad(impala server):可以部署多个不同机器上，通常与datanode部署在同一个节点 方便数据本地计算，负责具体执行本次查询sql的impalad称之为Coordinator。每个impala server都可以对外提供服务。
• impala state store:主要是保存impalad的状态信息 监视其健康状态
• impala catalogd :metastore维护的网关 负责跟hive 的metastore进行交互 同步hive的元数据到impala自己的元数据中。

• CLI:用户操作impala的方式（impala shell、jdbc、hue）

• impala 查询处理流程
• impalad分为java前端（接受解析sql编译成执行计划树），c++后端（负责具体的执行计划树操作）
• impala sql---->impalad（Coordinator）---->调用java前端编译sql成计划树------>以Thrift数据格式返回给C++后端------>根据执行计划树、数据位于路径（libhdfs和hdfs交互）、impalad状态分配执行计划 查询----->汇总查询结果----->返回给java前端---->用户cli

• 跟hive不同就在于整个执行中已经没有了mapreduce程序的存在

• impala集群安装规划
  
• node-3 ：impalad 、impala state store、impala catalogd、impala-shell
• node-2：impalad
• node-1：impalad

impala安装

• impala没有提供tar包 只有rpm包 这个rpm包只有cloudera公司
• 要么自己去官网下载impala rpm包和其相关的依赖 要么自己制作本地yum源
• 特别注意本地yum源的安装 需要Apache server对外提供web服务 使得各个机器都可以访问下载yum源

• 在指定的每个机器上根据规划 yum安装指定的服务
• 保证hadoop hive服务正常，开启相关的服务

• hive metastore hiveserver2

• hadoop hdfs-site.xml 开启本地读取数据的功能
• 要把配置文件scp给其他机器 重启

• 修改impala配置文件
• 修改bigtop 指定java路径
• 根据规划分别启动对应的impala进程
• 如果出错 排查的依据就是去，日志默认都在/var/log/impala

impala集群的启动关闭

• 主节点 按照顺序启动以下服务
  

service impala-state-store start
service impala-catalog start
service impala-server start

从节点

service impala-server start

• 如果需要关闭impala 把上述命令中start 改为stop
  
• 通过ps -ef|grep impala 判断启动的进程是否正常 如果出错 日志是你解决问题的唯一依据。

/var/log/impala

2 Apache Impala使用

2.1． Impala 基本介绍

impala 是 cloudera 提供的一款高效率的 sql 查询工具，提供实时的查询效果，官方测试性能比 hive(提供转化为MR mapreduce根据) 快 10 到 100 倍，其 sql 查询比 sparkSQL 还要更加快速，号称是当前大数据领域最快的查询 sql 工具，impala 是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）当中的 Dremel 实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce）分别对应我们即将学的 HBase 和已经学过的 HDFS 以及 MapReduce。impala 是基于 hive 并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。

2.2． Impala 与 Hive 关系

impala 是基于 hive 的大数据分析查询引擎，直接使用 hive 的元数据库metadata，意味着 impala 元数据都存储在 hive 的 metastore 当中，并且 impala 兼 容 hive 的绝大多数 sql 语法。所以需要安装 impala 的话，必须先安装 hive，保证hive 安装成功，并且还需要启动 hive 的 metastore 服务。 Hive 元数据包含用 Hive 创建的 database、table 等元信息。元数据存储在关系型数据库中，如 Derby、MySQL 等。

客户端连接 metastore 服务，metastore 再去连接 MySQL 数据库来存取元数据。有了 metastore 服务，就可以有多个客户端同时连接，而且这些客户端不需要知道 MySQL 数据库的用户名和密码，只需要连接 metastore 服务即可。nohup hive --service metastore >> ~/metastore.log 2>&1 &Hive 适合于长时间的批处理查询分析，而 Impala 适合于实时交互式 SQL 查 询。可以先使用 hive 进行数据转换处理，之后使用 Impala 在 Hive 处理后的结果数据集上进行快速的数据分析。

2.3． Impala 与 Hive 异同

Impala 与 Hive 都是构建在 Hadoop 之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看 Impala 与 Hive 有很多的共同之处，如数据表元数据、ODBC/JDBC 驱动、SQL 语法、灵活的文件格式、存储资源池等。但是 Impala 跟 Hive 最大的优化区别在于：没有使用 MapReduce 进行并行计算，虽然 MapReduce 是非常好的并行计算框架，但它更多的面向批处理模式，而不是面向交互式的 SQL 执行。与 MapReduce 相比，Impala 把整个查询分成一执行计划树，而不是一连串的 MapReduce 任务，在分发执行计划后，Impala 使 用拉式获取数据的方式获取结果，把结果数据组成按执行树流式传递汇集，减少的了把中间结果写入磁盘的步骤，再从磁盘读取数据的开销。Impala 使用服务的方式避免每次执行查询都需要启动的开销，即相比 Hive 没了 MapReduce 启动时间。

2.3.1． Impala 使用的优化技术

使用 LLVM 产生运行代码，针对特定查询生成特定代码，同时使用 Inline 的方式减少函数调用的开销，加快执行效率。(C++特性)充分利用可用的硬件指令（SSE4.2）。更好的 IO 调度，Impala 知道数据块所在的磁盘位置能够更好的利用多磁盘的优势，同时 Impala 支持直接数据块读取和本地代码计算 checksum。通过选择合适数据存储格式可以得到最好性能（Impala 支持多种存储格式）。最大使用内存，中间结果不写磁盘，及时通过网络以 stream 的方式传递。

2.3.2． 执行计划

Hive: 依赖于 MapReduce 执 行 框 架 ， 执 行 计 划 分 成

map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个 Query 会 被编译成多轮 MapReduce，则会有更多的写中间结果。由于 MapReduce 执行框架本身的特点，过多的中间过程会增加整个 Query 的执行时间。Impala: 把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个 Impalad 执行查询，而不用像 Hive 那样把它组合成管道型的

map->reduce 模式，以此保证 Impala 有更好的并发性和避免不必要的中间 sort 与shuffle。

2.3.3． 数据流

Hive: 采用推的方式，每一个计算节点计算完成后将数据主动推给后续节点。

Impala: 采用拉的方式，后续节点通过 getNext 主动向前面节点要数据，以

此方式数据可以流式的返回给客户端，且只要有 1 条数据被处理完，就可以立即

展现出来，而不用等到全部处理完成，更符合 SQL 交互式查询使用。

2.3.4． 内存使用

Hive: 在执行过程中如果内存放不下所有数据，则会使用外存，以保证 Query能顺序执行完。每一轮 MapReduce 结束，中间结果也会写入 HDFS 中，同样由于MapReduce 执行架构的特性，shuffle 过程也会有写本地磁盘的操作。

Impala: 在遇到内存放不下数据时，版本 1.0.1 是直接返回错误，而不会利用外存，以后版本应该会进行改进。这使用得 Impala 目前处理 Query 会受到一定的限制，最好还是与 Hive 配合使用。

2.3.5． 调度

Hive: 任务调度依赖于 Hadoop 的调度策略。Impala: 调度由自己完成，目前只有一种调度器 simple-schedule，它会尽量满足数据的局部性，扫描数据的进程尽量靠近数据本身所在的物理机器。调度器

目前还比较简单，在 SimpleScheduler::GetBackend 中可以看到，现在还没有考虑

负载，网络 IO 状况等因素进行调度。但目前 Impala 已经有对执行过程的性能统计分析，应该以后版本会利用这些统计信息进行调度吧。

2.3.6． 容错

Hive: 依赖于 Hadoop 的容错能力。

Impala: 在查询过程中，没有容错逻辑，如果在执行过程中发生故障，则直

接返回错误（这与 Impala 的设计有关，因为 Impala 定位于实时查询，一次查询

失败， 再查一次就好了，再查一次的成本很低）。

2.3.7． 适用面

Hive: 复杂的批处理查询任务，数据转换任务。

Impala：实时数据分析，因为不支持 UDF，能处理的问题域有一定的限制，与 Hive 配合使用,对 Hive 的结果数据集进行实时分析。

2.4． Impala 架构

Impala 主要由 Impalad、 State Store、Catalogd 和 CLI 组成。

2.4.1． Impalad

Impalad: 与 DataNode 运行在同一节点上，由 Impalad 进程表示，它接收客

户端的查询请求（接收查询请求的 Impalad 为 Coordinator，Coordinator 通过 JNI 调用 java

前端解释 SQL 查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应数据的

其它 Impalad 进行执行），读写数据，并行执行查询，并把结果通过网络流式的传送

回给 Coordinator，由 Coordinator 返回给客户端。同时 Impalad 也与 State Store 保

持连接，用于确定哪个 Impalad 是健康和可以接受新的工作。

在 Impalad 中启动三个 ThriftServer: beeswax_server（连接客户端），hs2_server

（借用 Hive 元数据），be_server（Impalad 内部使用）和一个 ImpalaServer 服务。

2.4.2． Impala State Store

Impala State Store: 跟踪集群中的 Impalad 的健康状态及位置信息，由

statestored 进程表示，它通过创建多个线程来处理 Impalad 的注册订阅和与各

Impalad 保持心跳连接，各 Impalad 都会缓存一份 State Store 中的信息，当 State

Store 离线后（Impalad 发现 State Store 处于离线时，会进入 recovery 模式，反复注册，当 State Store 重新加入集群后，自动恢复正常，更新缓存数据）因为 Impalad

有 State Store 的缓存仍然可以工作，但会因为有些 Impalad 失效了，而已缓存数

据无法更新，导致把执行计划分配给了失效的 Impalad，导致查询失败。

2.4.3． CLI

CLI: 提供给用户查询使用的命令行工具（Impala Shell 使用 python 实现），同

时 Impala 还提供了 Hue，JDBC， ODBC 使用接口。

4.4． Catalogd

Catalogd：作为 metadata 访问网关，从 Hive Metastore 等外部 catalog 中获

取元数据信息，放到 impala 自己的 catalog 结构中。impalad 执行 ddl 命令时通过

catalogd 由其代为执行，该更新则由 statestored 广播。

2.5． Impala 查询处理过程

Impalad 分为 Java 前端与 C++处理后端，接受客户端连接的 Impalad 即作

为这次查询的 Coordinator，Coordinator 通过 JNI 调用 Java 前端对用户的查询 SQL

进行分析生成执行计划树。

Java 前端产生的执行计划树以 Thrift 数据格式返回给 C++后端（Coordinator） （执行计划分为多个阶段，每一个阶段叫做一个 PlanFragment，每一个 PlanFragment 在执

行时可以由多个 Impalad 实例并行执行(有些 PlanFragment 只能由一个 Impalad 实例执行,如

聚合操作)，整个执行计划为一执行计划树）。

Coordinator 根据执行计划，数据存储信息（Impala 通过 libhdfs 与 HDFS 进行交

互。通过 hdfsGetHosts 方法获得文件数据块所在节点的位置信息），通过调度器（现在只有 simple-scheduler, 使用 round-robin 算法）Coordinator::Exec 对生成的执行计划

树分配给相应的后端执行器 Impalad 执行（查询会使用 LLVM 进行代码生成，编译，执行），通过调用 GetNext()方法获取计算结果。

如果是 insert 语句，则将计算结果通过 libhdfs 写回 HDFS 当所有输入数据被

消耗光，执行结束，之后注销此次查询服务。

3 Impala 安装部署

3.1． 安装前提

集群提前安装好 hadoop，hive。hive 安装包 scp 在所有需要安装 impala 的节点上，因为 impala 需要引用 hive的依赖包。

hadoop 框架需要支持 C 程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持 C 接口。

3.2． 下载安装包、依赖包

由于 impala 没有提供 tar 包进行安装，只提供了 rpm 包。因此在安装 impala的时候，需要使用 rpm 包来进行安装。rpm 包只有 cloudera 公司提供了，所以去cloudera 公司网站进行下载 rpm 包即可。

但是另外一个问题，impala 的 rpm 包依赖非常多的其他的 rpm 包，可以一个个的将依赖找出来，也可以将所有的 rpm 包下载下来，制作成我们本地 yum源来进行安装。这里就选择制作本地的 yum 源来进行安装。所以首先需要下载到所有的 rpm 包，下载地址如下

http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz

3.3． 虚拟机新增磁盘（可选）

由于下载的 cdh5.14.0-centos6.tar.gz 包非常大，大概 5 个 G，解压之后也最

少需要 5 个 G 的空间。而我们的虚拟机磁盘有限，可能会不够用了，所以可以为虚拟机挂载一块新的磁盘，专门用于存储的 cdh5.14.0-centos6.tar.gz 包。

注意事项：新增挂载磁盘需要虚拟机保持在关机状态。

如果磁盘空间有余，那么本步骤可以省略不进行。

3.3.1． 关机新增磁盘

虚拟机关机的状态下，在 VMware 当中新增一块磁盘。

3.3.2． 开机挂载磁盘

开启虚拟机，对新增的磁盘进行分区，格式化，并且挂载新磁盘到指定目录。

下面对分区进行格式化操作：

mkfs -t ext4 -c /dev/sdb1

创建挂载目录：mount -t ext4 /dev/sdb1 /cloudera_data/

添加至开机自动挂载：

vim /etc/fstab
/dev/sdb1 /cloudera_data ext4 defaults 0 0

3.4． 配置本地 yum 源

3.4.1． 上传安装包解压

使用 sftp 的方式把安装包大文件上传到服务器/cloudera_data 目录下。

cd /cloudera_data
tar -zxvf cdh5.14.0-centos6.tar.gz

3.4.2． 配置本地 yum 源信息

安装 Apache Server 服务器

yum -y install httpd
service httpd start
chkconfig httpd on

配置本地 yum 源的文件

cd /etc/yum.repos.d
vim localimp.repo 
[localimp]
name=localimp
baseurl=http://node-3/cdh5.14.0/
gpgcheck=0
enabled=1

创建 apache httpd 的读取链接

ln -s /cloudera_data/cdh/5.14.0 /var/www/html/cdh5.14.0

确保 linux 的 Selinux 关闭

临时关闭：

[root@localhost ~]# getenforce
Enforcing
[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforce
Permissive

永久关闭：

[root@localhost ~]# vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled

重启服务 reboot

通过浏览器访问本地 yum 源，如果出现下述页面则成功。

http://192.168.227.153/cdh5.14.0/

将本地 yum 源配置文件 localimp.repo 发放到所有需要安装 impala 的节点。

cd /etc/yum.repos.d/
scp localimp.repo node-2:$PWD
scp localimp.repo node-3:$PWD

3.5． 安装 Impala

3.5.1． 集群规划

服务名称 从节点 从节点 主节点

impala-catalog Node-3
impala-state-store Node-3
impala-server(impalad) Node-1 Node-2 Node-3

3.5.2． 主节点安装

在规划的主节点 node-3 执行以下命令进行安装：

yum install -y impala impala-server impala-state-store impala-catalog impala-shell

3.5.3． 从节点安装

在规划的从节点 node-1、node-2 执行以下命令进行安装：

yum install -y impala-server

3.6． 修改 Hadoop、Hive 配置

需要在 3 台机器整个集群上进行操作，都需要修改。hadoop、hive 是否正常

服务并且配置好，是决定 impala 是否启动成功并使用的前提。

3.6.1． 修改 hive 配置

可在 node-1 机器上进行配置，然后 scp 给其他 2 台机器。

vim /export/servers/hive/conf/hive-site.xml

<configuration> 
 <property> 
 <name>javax.jdo.option.ConnectionURL</name> 
 <value>jdbc:mysql://node-
1:3306/hive?createDatabaseIfNotExist=true</value> 
 </property> 
 <property> 
 <name>javax.jdo.option.ConnectionDriverName</name> 
 <value>com.mysql.jdbc.Driver</value> 
 </property> 
 <property> 
 <name>javax.jdo.option.ConnectionUserName</name> 
 <value>root</value> 
 </property> 
 <property> 
 <name>javax.jdo.option.ConnectionPassword</name> 
 <value>hadoop</value> 
 </property> 
 <property> 
 <name>hive.cli.print.current.db</name> 
 <value>true</value> 
 </property> 
 <property> 
 <name>hive.cli.print.header</name> 
 <value>true</value> 
 </property> 
<!-- 绑定运行 hiveServer2 的主机 host,默认 localhost --> 
 <property> 
 <name>hive.server2.thrift.bind.host</name> 
 <value>node-1</value> 
 </property> 
 <!-- 指定 hive metastore 服务请求的 uri 地址 --> 
 <property> 
 <name>hive.metastore.uris</name> 
 <value>thrift://node-1:9083</value> 
 </property> 
 <property> 
 <name>hive.metastore.client.socket.timeout</name> 
 <value>3600</value> 
 </property> 
</configuration>

将 hive 安装包 cp 给其他两个机器。

cd /export/servers/
scp -r hive/ node-2:$PWD
scp -r hive/ node-3:$PWD

3.6.2． 修改 hadoop 配置

所有节点创建下述文件夹

mkdir -p /var/run/hdfs-sockets

修改所有节点的 hdfs-site.xml 添加以下配置，修改完之后重启 hdfs 集群生效

vim etc/hadoop/hdfs-site.xml

<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hdfs-sockets/dn</value>
</property>
<property>
<name>dfs.client.file-block-storagelocations.timeout.millis</name>
<value>10000</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocksmetadata.enabled</name>
<value>true</value>
</property>

dfs.client.read.shortcircuit 打开 DFSClient 本地读取数据的控制，

dfs.domain.socket.path 是 Datanode 和 DFSClient 之间沟通的 Socket

的本地路径。

把更新 hadoop 的配置文件，scp 给其他机器。

cd /export/servers/hadoop-2.7.5/etc/hadoop
scp -r hdfs-site.xml node-2:$PWD
scp -r hdfs-site.xml node-3:$PWD 

注意：root 用户不需要下面操作，普通用户需要这一步操作。

给这个文件夹赋予权限，如果用的是普通用户 hadoop，那就直接赋予普通

用户的权限，例如：

chown -R hadoop:hadoop /var/run/hdfs-sockets/

因为这里直接用的 root 用户，所以不需要赋权限了。

3.6.3． 重启 hadoop、hive

在 node-1 上执行下述命令分别启动 hive metastore 服务和 hadoop。

cd /export/servers/hive
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
cd /export/servers/hadoop-2.7.5/
sbin/stop-dfs.sh | sbin/start-dfs.sh

3.6.4． 复制 hadoop、hive 配置文件

impala 的配置目录为/etc/impala/conf，这个路径下面需要把 core-site.xml，

hdfs-site.xml 以及 hive-site.xml。

所有节点执行以下命令

cp -r /export/servers/hadoop-2.7.5/etc/hadoop/core-site.xml 
/etc/impala/conf/core-site.xml
cp -r /export/servers/hadoop-2.7.5/etc/hadoop/hdfs-site.xml 
/etc/impala/conf/hdfs-site.xml
cp -r /export/servers/hive/conf/hive-site.xml 
/etc/impala/conf/hive-site.xml

3.7． 修改 impala 配置

3.7.1． 修改 impala 默认配置

所有节点更改 impala 默认配置文件

vim /etc/default/impala
IMPALA_CATALOG_SERVICE_HOST=node-3
IMPALA_STATE_STORE_HOST=node-3

3.7.2． 添加 mysql 驱动

通过配置/etc/default/impala 中可以发现已经指定了 mysql 驱动的位置名字。

使用软链接指向该路径即可（3 台机器都需要执行）

ln -s /export/servers/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java/mysql-connector-java.jar

3.7.3． 修改 bigtop 配置

修改 bigtop 的 java_home 路径（3 台机器）

vim /etc/default/bigtop-utils
export JAVA_HOME=/export/servers/jdk1.8.0_65

3.8． 启动、关闭 impala 服务

主节点 node-3 启动以下三个服务进程

service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动 node-1 与 node-2 启动 impala-server

service impala-server start

查看 impala 进程是否存在

ps -ef | grep impala

启动之后所有关于 impala 的日志默认都在/var/log/impala

如果需要关闭 impala 服务 把命令中的 start 该成 stop 即可。注意如果关闭

之后进程依然驻留，可以采取下述方式删除。正常情况下是随着关闭消失的。

解决方式：

3.8.1． impala web ui

访问 impalad 的管理界面 http://node-3:25000/

访问 statestored 的管理界面 http://node-3:25010/

4 Impala-shell 命令参数

4.1． impala-shell 外部命令

所谓的外部命令指的是不需要进入到 impala-shell 交互命令行当中即可执行

的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impalashell 时设置，用于修改命令执行环境。

impala-shell –h可以帮助我们查看帮助手册。也可以参考课程附件资料。

比如几个常见的：

impala-shell –r 刷新 impala 元数据，与建立连接后执行 REFRESH 语句

效果相同

impala-shell –f 文件路径 执行指的的 sql 查询文件。

impala-shell –i 指定连接运行 impalad 守护进程的主机。默认端口是

21000。你可以连接到集群中运行 impalad 的任意主机。

impala-shell –o 保存执行结果到文件当中去。

4.2． impala-shell 内部命令

所谓内部命令是指，进入 impala-shell 命令行之后可以执行的语法。

connect hostname 连接到指定的机器 impalad 上去执行。

refresh dbname.tablename 增量刷新，刷新某一张表的元数据，主要用

于刷新 hive 当中数据表里面的数据改变的情况。

invalidate metadata 全量刷新，性能消耗较大，主要用于 hive 当中新

建数据库或者数据库表的时候来进行刷新。

quit/exit 命令 从 Impala shell 中弹出

explain 命令 用于查看 sql 语句的执行计划。

explain 的值可以设置成 0,1,2,3 等几个值，其中 3 级别是最高的，可以打印

出最全的信息

set explain_level=3;

profile 命令执行 sql 语句之后执行，可以

打印出更加详细的执行步骤，主要用于查询结果的查看，集群的调优等。

注意:如果在 hive 窗口中插入数据或者新建的数据库或者数据库表，那么在

impala当中是不可直接查询，需要执行invalidate metadata以通知元数据的更新； 在 impala-shell 当中插入的数据，在 impala 当中是可以直接查询到的，不需要刷新数据库，其中使用的就是 catalog 这个服务的功能实现的，catalog 是

impala1.2 版本之后增加的模块功能，主要作用就是同步 impala 之间的元数据。

更新操作通知 Catalog，Catalog 通过广播的方式通知其它的 Impalad 进程。

默认情况下 Catalog 是异步加载元数据的，因此查询可能需要等待元数据加载完

成之后才能进行（第一次加载）。