Hive使用Impala组件查询(2)

简介: Hive使用Impala组件查询(2)

5 Impala sql 语法

5.1. 数据库特定语句

5.1.1. 创建数据库

CREATE DATABASE 语句用于在 Impala 中创建新数据库。

CREATE DATABASE IF NOT EXISTS database_name;

这里,IF NOT EXISTS 是一个可选的子句。如果我们使用此子句,则只有在没

有具有相同名称的现有数据库时,才会创建具有给定名称的数据库。

impala 默认使用 impala 用户执行操作,会报权限不足问题,解决办法: 一:给 HDFS 指定文件夹授予权限

hadoop fs -chmod -R 777 hdfs://node-1:9000/user/hive

二:haoop 配置文件中 hdfs-site.xml 中设置权限为 false

上述两种方式都可以。

默认就会在 hive 的数仓路径下创建新的数据库名文件夹

/user/hive/warehouse/ittest.db

也可以在创建数据库的时候指定 hdfs 路径。需要注意该路径的权限。

hadoop fs -mkdir -p /input/impala
hadoop fs -chmod -R 777 /input/impala 
create external table t3(id int ,name string ,age int ) 
row format delimited fields terminated by '\t' location 
'/input/impala/external';

5.1.2. 删除数据库

Impala 的 DROP DATABASE 语句用于从 Impala 中删除数据库。 在删除数据库

之前,建议从中删除所有表。

如果使用级联删除,Impala 会在删除指定数据库中的表之前删除它。

DROP database sample cascade;

5.2. 表特定语句

5.2.1. create table 语句

CREATE TABLE 语句用于在 Impala 中的所需数据库中创建新表。 需要指定表

名字并定义其列和每列的数据类型。

impala 支持的数据类型和 hive 类似,除了 sql 类型外,还支持 java 类型。

create table IF NOT EXISTS database_name.table_name (

column1 data_type,

column2 data_type,

column3 data_type,

………

columnN data_type

);

CREATE TABLE IF NOT EXISTS my_db.student(name STRING, age

INT, contact INT );

默认建表的数据存储路径跟 hive 一致。也可以在建表的时候通过 location 指

定具体路径,需要注意 hdfs 权限问题。

5.2.2. insert 语句

Impala 的 INSERT 语句有两个子句: into 和 overwrite。into 用于插入新记录数

据,overwrite 用于覆盖已有的记录。

insert into table_name (column1, column2, column3,...columnN)
values (value1, value2, value3,...valueN);
Insert into table_name values (value1, value2, value2);

这里,column1,column2,… columnN 是要插入数据的表中的列的名称。还

可以添加值而不指定列名,但是,需要确保值的顺序与表中的列的顺序相同。

举个例子:

create table employee (Id INT, name STRING, age INT,address STRING, salary 
BIGINT);
insert into employee VALUES (1, 'Ramesh', 32, 'Ahmedabad', 20000 );
insert into employee values (2, 'Khilan', 25, 'Delhi', 15000 );
Insert into employee values (3, 'kaushik', 23, 'Kota', 30000 );
Insert into employee values (4, 'Chaitali', 25, 'Mumbai', 35000 );
Insert into employee values (5, 'Hardik', 27, 'Bhopal', 40000 );
Insert into employee values (6, 'Komal', 22, 'MP', 32000 );
overwrite 覆盖子句覆盖表当中全部记录。 覆盖的记录将从表中永久删除。
Insert overwrite employee values (1, 'Ram', 26, 'Vishakhapatnam', 37000 );

5.2.3. select 语句

Impala SELECT 语句用于从数据库中的一个或多个表中提取数据。 此查询以

表的形式返回数据。

5.2.4. describe 语句

Impala 中的 describe 语句用于提供表的描述。 此语句的结果包含有关表的

信息,例如列名称及其数据类型。

Describe table_name;

此外,还可以使用 hive 的查询表元数据信息语句。

desc formatted table_name;

5.2.5. alter table

Impala 中的 Alter table 语句用于对给定表执行更改。使用此语句,我们可以

添加,删除或修改现有表中的列,也可以重命名它们。

表重命名:

ALTER TABLE [old_db_name.]old_table_name RENAME TO
[new_db_name.]new_table_name

向表中添加列:

ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])

从表中删除列:

ALTER TABLE name DROP [COLUMN] column_name

更改列的名称和类型:

ALTER TABLE name CHANGE column_name new_name new_type

5.2.6. delete、truncate table

Impala drop table 语句用于删除 Impala 中的现有表。此语句还会删除内部表

的底层 HDFS 文件。

注意:使用此命令时必须小心,因为删除表后,表中可用的所有信息也将永

远丢失。

DROP table database_name.table_name;

Impala 的 Truncate Table 语句用于从现有表中删除所有记录。保留表结构。

您也可以使用 DROP TABLE 命令删除一个完整的表,但它会从数据库中删除

完整的表结构,如果您希望存储一些数据,您将需要重新创建此表。

truncate table_name;

5.2.7. view 视图

视图仅仅是存储在数据库中具有关联名称的 Impala 查询语言的语句。 它是

以预定义的 SQL 查询形式的表的组合。

视图可以包含表的所有行或选定的行。

Create View IF NOT EXISTS view_name as Select statement

创建视图 view、查询视图 view

CREATE VIEW IF NOT EXISTS employee_view AS select name, age from employee;

修改视图

ALTER VIEW database_name.view_name 为 Select 语句

删除视图

DROP VIEW database_name.view_name;

5.2.8. order by 子句

Impala ORDER BY子句用于根据一个或多个列以升序或降序对数据进行排序。

默认情况下,一些数据库按升序对查询结果进行排序。

select * from table_name ORDER BY col_name
[ASC|DESC] [NULLS FIRST|NULLS LAST]

可以使用关键字 ASC 或 DESC 分别按升序或降序排列表中的数据。

如果我们使用 NULLS FIRST,表中的所有空值都排列在顶行; 如果我们使用

NULLS LAST,包含空值的行将最后排列。

5.2.9. group by 子句

Impala GROUP BY 子句与 SELECT 语句协作使用,以将相同的数据排列到组中。

select data from table_name Group BY col_name;

5.2.10. having 子句

Impala 中的 Having 子句允许您指定过滤哪些组结果显示在最终结果中的条件。一般来说,Having 子句与 group by 子句一起使用; 它将条件放置在由 GROUP BY 子句创建的组上。

5.2.11. limit、offset

Impala 中的 limit 子句用于将结果集的行数限制为所需的数,即查询的结果集不包含超过指定限制的记录。一般来说,select 查询的 resultset 中的行从 0 开始。使用 offset 子句,我们可以决定从哪里考虑输出。

5.2.12. with 子句

如果查询太复杂,我们可以为复杂部分定义别名,并使用 Impala 的 with 子句将它们包含在查询中。

with x as (select 1), y as (select 2) (select * from x union y);

例如:使用 with 子句显示年龄大于 25 的员工和客户的记录。

with t1 as (select * from customers where age>25), 
 t2 as (select * from employee where age>25) 
 (select * from t1 union select * from t2);

5.2.13. distinct

Impala 中的 distinct 运算符用于通过删除重复值来获取唯一值。

select distinct columns… from table_name;

6 Impala 数据导入方式

6.1. load data

首先创建一个表:

create table user(id int ,name string,age int ) row format delimited fields

terminated by “\t”;

准备数据 user.txt 并上传到 hdfs 的 /user/impala 路径下去

加载数据

load data inpath ‘/user/impala/’ into table user;

查询加载的数据

select * from user;

如果查询不不到数据,那么需要刷新一遍数据表。

refresh user;

6.2. insert into values

这种方式非常类似于 RDBMS 的数据插入方式。

create table t_test2(id int,name string);

insert into table t_test2 values(1,”zhangsan”);

6.3. insert into select

插入一张表的数据来自于后面的 select 查询语句返回的结果。

6.4. create as select

建表的字段个数、类型、数据来自于后续的 select 查询语句。

7 Impala 的 java 开发

在实际工作当中,因为 impala 的查询比较快,所以可能有会使用到 impala

来做数据库查询的情况,可以通过 java 代码来进行操作 impala 的查询。

7.1. 下载 impala jdbc 依赖

下载路径:

https://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html

因为 cloudera 属于商业公司性质,其提供的 jar 并不会出现在开源的 maven

仓库中,如果在企业中需要使用,请添加到企业 maven 私服。

7.2. 创建 java 工程

创建普通 java 工程,把依赖添加工程。

7.3. java api

public static void test(){
 Connection con = null;
 ResultSet rs = null;
 PreparedStatement ps = null;
 String JDBC_DRIVER = "com.cloudera.impala.jdbc41.Driver";
 String CONNECTION_URL = "jdbc:impala://node-3:21050";
 try
 {
 Class.forName(JDBC_DRIVER);
 con = (Connection) DriverManager.getConnection(CONNECTION_URL);
 ps = con.prepareStatement("select * from my_db.employee;");
 rs = ps.executeQuery();
 while (rs.next())
 {
 System.out.println(rs.getString(1));
 System.out.println(rs.getString(2));
 System.out.println(rs.getString(3));
 }
 } catch (Exception e)
 {
 e.printStackTrace();
 } finally
 {
 try {
 rs.close();
 ps.close();
 con.close();
 } catch (SQLException e) {
 e.printStackTrace();
 }
 }
 }
 public static void main(String[] args) {
 test();
 }


目录
相关文章
|
SQL 存储 分布式数据库
【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】
【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】
295 0
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
57 4
|
2月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
43 2
|
6月前
|
SQL 资源调度 数据库连接
Hive怎么调整优化Tez引擎的查询?在Tez上优化Hive查询的指南
在Tez上优化Hive查询,包括配置参数调整、理解并行化机制以及容器管理。关键步骤包括YARN调度器配置、安全阀设置、识别性能瓶颈(如mapper/reducer任务和连接操作),理解Tez如何动态调整mapper和reducer数量。例如,`tez.grouping.max-size` 影响mapper数量,`hive.exec.reducers.bytes.per.reducer` 控制reducer数量。调整并发和容器复用参数如`hive.server2.tez.sessions.per.default.queue` 和 `tez.am.container.reuse.enabled`
567 0
|
7月前
|
SQL 存储 大数据
Hive的查询、数据加载和交换、聚合、排序、优化
Hive的查询、数据加载和交换、聚合、排序、优化
156 2
|
7月前
|
SQL 存储 关系型数据库
Presto【实践 01】Presto查询性能优化(数据存储+SQL优化+无缝替换Hive表+注意事项)及9个实践问题分享
Presto【实践 01】Presto查询性能优化(数据存储+SQL优化+无缝替换Hive表+注意事项)及9个实践问题分享
873 0
|
7月前
|
SQL 分布式计算 Java
Hive【Hive(三)查询语句】
Hive【Hive(三)查询语句】
|
SQL HIVE
Hive新增表在Impala查不到问题解决
Hive新增表在Impala查不到问题解决
217 0
|
SQL HIVE 数据安全/隐私保护
Hive整合Hue组件使用
Hive整合Hue组件使用
157 0
|
SQL 存储 大数据
大数据Hive Join连接查询
大数据Hive Join连接查询
137 0