AI 助理
备案控制台
开发者社区 大数据 文章 正文

一文学完所有的Hive Sql（两万字最全详解）（五）

2022-04-26 240
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Hive Sql 详解

总结：


Lateral View通常和UDTF一起出现，为了解决UDTF不允许在select字段的问题。


Multiple Lateral View可以实现类似笛卡尔乘积。


Outer关键字可以把不输出的UDTF的空结果，输出成NULL，防止丢失数据。


行转列


相关参数说明:


CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;


CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;


COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。


数据准备:


name constellation blood_type
孙悟空 白羊座 A
老王 射手座 A
宋宋 白羊座 B
猪八戒 白羊座 A
凤姐 射手座 A


需求: 把星座和血型一样的人归类到一起。结果如下：


射手座,A            老王|凤姐
白羊座,A            孙悟空|猪八戒
白羊座,B            宋宋


实现步骤:


  1. 创建本地constellation.txt，导入数据


node03服务器执行以下命令创建文件，注意数据使用\t进行分割
cd /export/servers/hivedatas
vim constellation.txt
数据如下: 
孙悟空 白羊座 A
老王  射手座 A
宋宋  白羊座 B       
猪八戒 白羊座 A
凤姐  射手座 A


       b.创建hive表并导入数据


创建hive表并加载数据
hive (hive_explode)> create table person_info(
                    name string, 
                    constellation string, 
                    blood_type string) 
                    row format delimited fields terminated by "\t";
加载数据
hive (hive_explode)> load data local inpath '/export/servers/hivedatas/constellation.txt' into table person_info;


       c.按需求查询数据


hive (hive_explode)> select
                        t1.base,
                        concat_ws('|', collect_set(t1.name)) name
                    from
                        (select
                            name,
                            concat(constellation, "," , blood_type) base
                        from
                            person_info) t1
                    group by
                        t1.base;


列转行


所需函数:


EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。


LATERAL VIEW


用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias


解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。


数据准备:


cd /export/servers/hivedatas
vim movie.txt
文件内容如下:  数据字段之间使用\t进行分割
《疑犯追踪》  悬疑,动作,科幻,剧情
《Lie to me》 悬疑,警匪,动作,心理,剧情
《战狼2》 战争,动作,灾难


需求: 将电影分类中的数组数据展开。结果如下：


《疑犯追踪》  悬疑
《疑犯追踪》  动作
《疑犯追踪》  科幻
《疑犯追踪》  剧情
《Lie to me》 悬疑
《Lie to me》 警匪
《Lie to me》 动作
《Lie to me》 心理
《Lie to me》 剧情
《战狼2》 战争
《战狼2》 动作
《战狼2》 灾难


实现步骤:


  1. 创建hive表


create table movie_info(
    movie string, 
    category array<string>) 
row format delimited fields terminated by "\t"
collection items terminated by ",";


       b.加载数据


load data local inpath "/export/servers/hivedatas/movie.txt" into table movie_info;


       c.按需求查询数据


select
    movie,
    category_name
from 
    movie_info lateral view explode(category) table_tmp as category_name;


reflect函数


reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。


需求1: 使用java.lang.Math当中的Max求两列中最大值


实现步骤:


  1. 创建hive表


create table test_udf(col1 int,col2 int) row format delimited fields terminated by ',';


       b.准备数据并加载数据


cd /export/servers/hivedatas
vim test_udf 
文件内容如下:
1,2
4,3
6,4
7,5
5,6

        c.加载数据


hive (hive_explode)> load data local inpath '/export/servers/hivedatas/test_udf' overwrite into table test_udf;


        d.使用java.lang.Math当中的Max求两列当中的最大值


hive (hive_explode)> select reflect("java.lang.Math","max",col1,col2) from test_udf;


需求2: 文件中不同的记录来执行不同的java的内置函数


实现步骤:


  1. 创建hive表


hive (hive_explode)> create table test_udf2(class_name string,method_name string,col1 int , col2 int) row format delimited fields terminated by ',';


 b.准备数据


cd /export/servers/hivedatas
vim test_udf2
文件内容如下:
java.lang.Math,min,1,2
java.lang.Math,max,2,3


       c.加载数据


hive (hive_explode)> load data local inpath '/export/servers/hivedatas/test_udf2' overwrite into table test_udf2;


      d.执行查询


hive (hive_explode)> select reflect(class_name,method_name,col1,col2) from test_udf2;


需求3: 判断是否为数字


实现方式:


使用apache commons中的函数，commons下的jar已经包含在hadoop的classpath中，所以可以直接使用。


select reflect("org.apache.commons.lang.math.NumberUtils","isNumber","123")


窗口函数与分析函数


在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。


窗口函数最重要的关键字是 partition by 和 order by。


具体语法如下：over (partition by xxx order by xxx)


sum、avg、min、max


准备数据


建表语句:
create table test_t1(
cookieid string,
createtime string,   --day 
pv int
) row format delimited 
fields terminated by ',';
加载数据：
load data local inpath '/root/hivedata/test_t1.dat' into table test_t1;
cookie1,2020-04-10,1
cookie1,2020-04-11,5
cookie1,2020-04-12,7
cookie1,2020-04-13,3
cookie1,2020-04-14,2
cookie1,2020-04-15,4
cookie1,2020-04-16,4
开启智能本地模式
SET hive.exec.mode.local.auto=true;


SUM函数和窗口函数的配合使用：结果和ORDER BY相关,默认为升序。


select cookieid,createtime,pv,
sum(pv) over(partition by cookieid order by createtime) as pv1 
from test_t1;
select cookieid,createtime,pv,
sum(pv) over(partition by cookieid order by createtime rows between unbounded preceding and current row) as pv2
from test_t1;
select cookieid,createtime,pv,
sum(pv) over(partition by cookieid) as pv3
from test_t1;
select cookieid,createtime,pv,
sum(pv) over(partition by cookieid order by createtime rows between 3 preceding and current row) as pv4
from test_t1;
select cookieid,createtime,pv,
sum(pv) over(partition by cookieid order by createtime rows between 3 preceding and 1 following) as pv5
from test_t1;
select cookieid,createtime,pv,
sum(pv) over(partition by cookieid order by createtime rows between current row and unbounded following) as pv6
from test_t1;
pv1: 分组内从起点到当前行的pv累积，如，11号的pv1=10号的pv+11号的pv, 12号=10号+11号+12号
pv2: 同pv1
pv3: 分组内(cookie1)所有的pv累加
pv4: 分组内当前行+往前3行，如，11号=10号+11号， 12号=10号+11号+12号，
                         13号=10号+11号+12号+13号， 14号=11号+12号+13号+14号
pv5: 分组内当前行+往前3行+往后1行，如，14号=11号+12号+13号+14号+15号=5+7+3+2+4=21
pv6: 分组内当前行+往后所有行，如，13号=13号+14号+15号+16号=3+2+4+4=13，
               14号=14号+15号+16号=2+4+4=10

如果不指定rows between,默认为从起点到当前行;


如果不指定order by，则将分组内所有值累加;


关键是理解rows between含义,也叫做window子句：


preceding：往前

following：往后

current row：当前行

unbounded：起点

unbounded preceding 表示从前面的起点

unbounded following：表示到后面的终点


AVG，MIN，MAX，和SUM用法一样。


row_number、rank、dense_rank、ntile


准备数据


cookie1,2020-04-10,1
cookie1,2020-04-11,5
cookie1,2020-04-12,7
cookie1,2020-04-13,3
cookie1,2020-04-14,2
cookie1,2020-04-15,4
cookie1,2020-04-16,4
cookie2,2020-04-10,2
cookie2,2020-04-11,3
cookie2,2020-04-12,5
cookie2,2020-04-13,6
cookie2,2020-04-14,3
cookie2,2020-04-15,9
cookie2,2020-04-16,7
CREATE TABLE test_t2 (
cookieid string,
createtime string,   --day 
pv INT
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile;
加载数据：
load data local inpath '/root/hivedata/test_t2.dat' into table test_t2;


  • ROW_NUMBER()使用


ROW_NUMBER()从1开始，按照顺序，生成分组内记录的序列。


SELECT 
cookieid,
createtime,
pv,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn 
FROM test_t2;


  • RANK 和 DENSE_RANK使用


RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位 。


DENSE_RANK()生成数据项在分组中的排名，排名相等会在名次中不会留下空位。


SELECT 
cookieid,
createtime,
pv,
RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn1,
DENSE_RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn2,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn3 
FROM test_t2 
WHERE cookieid = 'cookie1';


  • NTILE


有时会有这样的需求:如果数据排序后分为三部分，业务人员只关心其中的一部分，如何将这中间的三分之一数据拿出来呢?NTILE函数即可以满足。


ntile可以看成是：把有序的数据集合平均分配到指定的数量（num）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。


然后可以根据桶号，选取前或后 n分之几的数据。数据会完整展示出来，只是给相应的数据打标签；具体要取几分之几的数据，需要再嵌套一层根据标签取出。


SELECT 
cookieid,
createtime,
pv,
NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime) AS rn1,
NTILE(3) OVER(PARTITION BY cookieid ORDER BY createtime) AS rn2,
NTILE(4) OVER(ORDER BY createtime) AS rn3
FROM test_t2 
ORDER BY cookieid,createtime;


其他一些窗口函数


lag,lead,first_value,last_value


  • LAG


LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）


SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,
LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time 
FROM test_t4;
last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
                   cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
                   cookie1第三行，往上1行值为第二行值，2015-04-10 10:00:02
                   cookie1第六行，往上1行值为第五行值，2015-04-10 10:50:01
last_2_time: 指定了往上第2行的值，为指定默认值
               cookie1第一行，往上2行为NULL
               cookie1第二行，往上2行为NULL
               cookie1第四行，往上2行为第二行值，2015-04-10 10:00:02
               cookie1第七行，往上2行为第五行值，2015-04-10 10:50:01


  • LEAD


与LAG相反


LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值


第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）


SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,
LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time 
FROM test_t4;


  • FIRST_VALUE


取分组内排序后，截止到当前行，第一个值


SELECT cookieid,
 createtime,
 url,
 ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
 FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1 
 FROM test_t4;


  • LAST_VALUE


取分组内排序后，截止到当前行，最后一个值


SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1 
FROM test_t4;


如果想要取分组内排序后最后一个值，则需要变通一下：


SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,
FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2 
FROM test_t4 
ORDER BY cookieid,createtime;


特别注意order by


如果不指定ORDER BY，则进行排序混乱，会出现错误的结果


SELECT cookieid,
createtime,
url,
FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2  
FROM test_t4;


cume_dist,percent_rank


这两个序列分析函数不是很常用，注意： 序列函数不支持WINDOW子句


  • 数据准备


d1,user1,1000
d1,user2,2000
d1,user3,3000
d2,user4,4000
d2,user5,5000
CREATE EXTERNAL TABLE test_t3 (
dept STRING,
userid string,
sal INT
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile;
加载数据：
load data local inpath '/root/hivedata/test_t3.dat' into table test_t3;


  • CUME_DIST 和order byd的排序顺序有关系


CUME_DIST 小于等于当前值的行数/分组内总行数 order 默认顺序 正序 升序
比如，统计小于等于当前薪水的人数，所占总人数的比例


SELECT 
 dept,
 userid,
 sal,
 CUME_DIST() OVER(ORDER BY sal) AS rn1,
 CUME_DIST() OVER(PARTITION BY dept ORDER BY sal) AS rn2 
 FROM test_t3;
 rn1: 没有partition,所有数据均为1组，总行数为5，
      第一行：小于等于1000的行数为1，因此，1/5=0.2
      第三行：小于等于3000的行数为3，因此，3/5=0.6
 rn2: 按照部门分组，dpet=d1的行数为3,
      第二行：小于等于2000的行数为2，因此，2/3=0.6666666666666666


  • PERCENT_RANK


PERCENT_RANK 分组内当前行的RANK值-1/分组内总行数-1


经调研 该函数显示现实意义不明朗 有待于继续考证


SELECT 
  dept,
  userid,
  sal,
  PERCENT_RANK() OVER(ORDER BY sal) AS rn1,   --分组内
  RANK() OVER(ORDER BY sal) AS rn11,          --分组内RANK值
  SUM(1) OVER(PARTITION BY NULL) AS rn12,     --分组内总行数
  PERCENT_RANK() OVER(PARTITION BY dept ORDER BY sal) AS rn2 
  FROM test_t3;
  rn1: rn1 = (rn11-1) / (rn12-1) 
       第一行,(1-1)/(5-1)=0/4=0
       第二行,(2-1)/(5-1)=1/4=0.25
       第四行,(4-1)/(5-1)=3/4=0.75
  rn2: 按照dept分组，
       dept=d1的总行数为3
       第一行，(1-1)/(3-1)=0
       第三行，(3-1)/(3-1)=1


grouping sets,grouping__id,cube,rollup


这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。


  • 数据准备


2020-03,2020-03-10,cookie1
2020-03,2020-03-10,cookie5
2020-03,2020-03-12,cookie7
2020-04,2020-04-12,cookie3
2020-04,2020-04-13,cookie2
2020-04,2020-04-13,cookie4
2020-04,2020-04-16,cookie4
2020-03,2020-03-10,cookie2
2020-03,2020-03-10,cookie3
2020-04,2020-04-12,cookie5
2020-04,2020-04-13,cookie6
2020-04,2020-04-15,cookie3
2020-04,2020-04-15,cookie2
2020-04,2020-04-16,cookie1
CREATE TABLE test_t5 (
month STRING,
day STRING, 
cookieid STRING 
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile;
加载数据：
load data local inpath '/root/hivedata/test_t5.dat' into table test_t5;


  • GROUPING SETS


grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。


等价于将不同维度的GROUP BY结果集进行UNION ALL。


GROUPING__ID，表示结果属于哪一个分组集合。


SELECT 
month,
day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID 
FROM test_t5 
GROUP BY month,day 
GROUPING SETS (month,day) 
ORDER BY GROUPING__ID;
grouping_id表示这一组结果属于哪个分组集合，
根据grouping sets中的分组条件month，day，1是代表month，2是代表day
等价于 
SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM test_t5 GROUP BY month UNION ALL 
SELECT NULL as month,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM test_t5 GROUP BY day;


再如：


SELECT 
month,
day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID 
FROM test_t5 
GROUP BY month,day 
GROUPING SETS (month,day,(month,day)) 
ORDER BY GROUPING__ID;
等价于
SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM test_t5 GROUP BY month 
UNION ALL 
SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM test_t5 GROUP BY day
UNION ALL 
SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM test_t5 GROUP BY month,day;


  • CUBE


根据GROUP BY的维度的所有组合进行聚合。


SELECT 
month,
day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID 
FROM test_t5 
GROUP BY month,day 
WITH CUBE 
ORDER BY GROUPING__ID;
等价于
SELECT NULL,NULL,COUNT(DISTINCT cookieid) AS uv,0 AS GROUPING__ID FROM test_t5
UNION ALL 
SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM test_t5 GROUP BY month 
UNION ALL 
SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM test_t5 GROUP BY day
UNION ALL 
SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM test_t5 GROUP BY month,day;


  • ROLLUP


是CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。


比如，以month维度进行层级聚合：
SELECT 
month,
day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID  
FROM test_t5 
GROUP BY month,day
WITH ROLLUP 
ORDER BY GROUPING__ID;
--把month和day调换顺序，则以day维度进行层级聚合：
SELECT 
day,
month,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID  
FROM test_t5 
GROUP BY day,month 
WITH ROLLUP 
ORDER BY GROUPING__ID;
（这里，根据天和月进行聚合，和根据天聚合结果一样，因为有父子关系，如果是其他维度组合的话，就会不一样）
文章标签：
Java
分布式计算
SQL
OLAP
Apache
Hadoop
HIVE
关键词：
SQL hive
skdg26tulds2a
目录
相关文章
kng32f3vbngrm
|
8月前
|
SQL HIVE
【Hive SQL 每日一题】环比增长率、环比增长率、复合增长率
该文介绍了环比增长率、同比增长率和复合增长率的概念及计算公式，并提供了SQL代码示例来计算商品的月度增长率。环比增长率是相邻两期数据的增长率，同比增长率是与去年同期相比的增长率，复合增长率则是连续时间段内平均增长的速率。文章还包含了一组销售数据用于演示如何运用这些增长率进行计算。
kng32f3vbngrm
275 4
武子康
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
武子康
92 3
武子康
|
3月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
75 0
武子康
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
121 0
龙大吉
|
4月前
|
SQL 消息中间件 数据处理
"颠覆传统，Hive SQL与Flink激情碰撞！解锁流批一体数据处理新纪元，让数据决策力瞬间爆表，你准备好了吗？"
【9月更文挑战第2天】
龙大吉
104 2
皮牙子抓饭
|
5月前
|
SQL 存储 分布式计算
插入Hive表数据SQL
【8月更文挑战第10天】
皮牙子抓饭
61 4
龙大吉
|
5月前
|
SQL 物联网 数据处理
"颠覆传统，Hive SQL与Flink激情碰撞！解锁流批一体数据处理新纪元，让数据决策力瞬间爆表，你准备好了吗？"
【8月更文挑战第9天】数据时代，实时性和准确性至关重要。传统上，批处理与流处理各司其职，但Apache Flink打破了这一界限，尤其Flink与Hive SQL的结合，开创了流批一体的数据处理新时代。这不仅简化了数据处理流程，还极大提升了效率和灵活性。例如，通过Flink SQL，可以轻松实现流数据与批数据的融合分析，无需在两者间切换。这种融合不仅降低了技术门槛，还为企业提供了更强大的数据支持，无论是在金融、电商还是物联网领域，都将发挥巨大作用。
龙大吉
69 6
你都不懂
|
6月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
你都不懂
79 2
三分钟热度的鱼
|
6月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
186 0
kng32f3vbngrm
|
8月前
|
SQL HIVE
【Hive SQL】字符串操作函数你真的会用吗？
本文介绍了SQL中判断字符串是否包含子串的几种方法。`IN`函数判断元素是否完全等于给定元素组中的某项，而非包含关系。`INSTR`和`LOCATE`函数返回子串在字符串中首次出现的位置，用于检测是否存在子串。`SUBSTR`则用于提取字符串的子串。`LIKE`用于模糊匹配，常与通配符配合使用。注意`IN`并非用于判断子串包含。
kng32f3vbngrm
562 3

热门文章

最新文章

  • 1
    了解Hive 工作原理：Hive 是如何工作的？
  • 2
    Flask 框架防止 SQL 注入攻击的方法
  • 3
    Vanna：开源 AI 检索生成框架，自动生成精确的 SQL 查询
  • 4
    SQL自学笔记（3）：SQL里的DCL,DQL都代表什么？
  • 5
    Flink SQL Deduplication 去重以及如何获取最新状态操作
  • 6
    MySQL导入.sql文件后数据库乱码问题
  • 7
    MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
  • 8
    MySQL 高级(进阶) SQL 语句
  • 9
    MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
  • 10
    SQL自学笔记（1）：什么是SQL？有什么用？
  • 1
    SQL脚本相除
    75
  • 2
    0基础学习SQL注入之万能账号密码（BUUctf例题-[极客大挑战 2019]EasySQL1）
    741
  • 3
    SQL脚本利用带关联子查询Update语句更新数据
    146
  • 4
    10分钟了解Flink SQL使用
    406
  • 5
    SQL脚本把多行SQL数据变成一条多列数据
    125
  • 6
    mybatis动态sql
    49
  • 7
    基于若依的ruoyi-nbcio流程管理系统修改代码生成的sql菜单id修改成递增id（谨慎修改，大并发分布式有弊端）
    126
  • 8
    SQL脚本字符串替换
    79
  • 9
    你写的每条SQL都是全表扫描吗
    188
  • 10
    数据库SQL语言实战（六）
    59

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据Hive教程精讲
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • GeoMesa on Spark SQL
  • spark替代HIVE实现ETL作业
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用SQL语句实现数据表管理
  • 使用SQL语句实现数据插入、修改和删除操作
  • 使用SQL语句实现数据查询操作
  • 使用SQL语句管理索引
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月