Influx Sql系列教程九:query数据查询基本篇二

简介: 前面一篇介绍了influxdb中基本的查询操作,在结尾处提到了如果我们希望对查询的结果进行分组,排序,分页时,应该怎么操作,接下来我们看一下上面几个场景的支持

前面一篇介绍了influxdb中基本的查询操作,在结尾处提到了如果我们希望对查询的结果进行分组,排序,分页时,应该怎么操作,接下来我们看一下上面几个场景的支持


在开始本文之前,建议先阅读上篇博文: 190813-Influx Sql系列教程八:query数据查询基本篇


0. 数据准备



在开始查询之前,先看一下我们准备的数据,其中name,phone为tag, age,blog,id为field


> select * from yhh
name: yhh
time                age blog                 id name phone
----                --- ----                 -- ---- -----
1563889538654374538 26  http://blog.hhui.top 10 一灰灰
1563889547738266214 30  http://blog.hhui.top 11 一灰灰
1563889704754695002 30  http://blog.hhui.top 11 一灰灰2
1563889723440000821 30  http://blog.hhui.top 11 一灰灰3 110
> show tag keys from yhh
name: yhh
tagKey
------
name
phone
复制代码


1. 分组查询



和sql语法一样,influxdb sql的分组也是使用group by语句,其定义如下


SELECT_clause FROM_clause [WHERE_clause] GROUP BY [* | <tag_key>[,<tag_key]]
复制代码


a. group by tag


从上面的定义中,有一点需要特别强调,用来分组的必须是tag,也就是说对于influxdb而言,不支持根据field进行分组


一个实际的演示如下:

> select * from yhh group by phone
name: yhh
tags: phone=
time                age blog                 id name
----                --- ----                 -- ----
1563889538654374538 26  http://blog.hhui.top 10 一灰灰
1563889547738266214 30  http://blog.hhui.top 11 一灰灰
1563889704754695002 30  http://blog.hhui.top 11 一灰灰2
name: yhh
tags: phone=110
time                age blog                 id name
----                --- ----                 -- ----
1563889723440000821 30  http://blog.hhui.top 11 一灰灰3
复制代码


注意上面的输出结果,比较有意思,分成了两个结构段落,且可以输出完整的数据;而mysql的分组查询条件中一般需要带上分组key,然后实现一些数据上的聚合查询

如果我的分组中,使用field进行分组查询,会怎样?报错么?


> select * from yhh group by age
name: yhh
tags: age=
time                age blog                 id name phone
----                --- ----                 -- ---- -----
1563889538654374538 26  http://blog.hhui.top 10 一灰灰
1563889547738266214 30  http://blog.hhui.top 11 一灰灰
1563889704754695002 30  http://blog.hhui.top 11 一灰灰2
1563889723440000821 30  http://blog.hhui.top 11 一灰灰3 110
复制代码


从上面的case中可以看出,虽然执行了,但是返回的结果并不是我们预期的。


b. group by *


另外一个与一般SQL语法不一样的是group by 后面可以跟上*,表示根据所有的tag进行分组,一个测试如下


> select * from yhh group by *
name: yhh
tags: name=一灰灰, phone=
time                age blog                 id
----                --- ----                 --
1563889538654374538 26  http://blog.hhui.top 10
1563889547738266214 30  http://blog.hhui.top 11
name: yhh
tags: name=一灰灰2, phone=
time                age blog                 id
----                --- ----                 --
1563889704754695002 30  http://blog.hhui.top 11
name: yhh
tags: name=一灰灰3, phone=110
time                age blog                 id
----                --- ----                 --
1563889723440000821 30  http://blog.hhui.top 11
>
复制代码


c. group by time


除了上面的根据tag进行分组之外,还有一个更高级的特性,根据时间来分组,这个时间还支持一些简单的函数操作


定义如下

SELECT <function>(<field_key>) FROM_clause WHERE <time_range> GROUP BY time(<time_interval>),[tag_key] [fill(<fill_option>)]
复制代码


我们知道influxdb的一个重要应用场景就是监控的记录,在监控面板上经常会有的就是根据时间进行聚合,比如查询某个服务每分钟的异常数,qps, rt等


下面给出一个简单的使用case

# 为了显示方便,将数据的时间戳改成日期方式展示
> precision rfc3339
> select * from yhh
name: yhh
time                           age blog                 id name phone
----                           --- ----                 -- ---- -----
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top 10 一灰灰
2019-07-23T13:45:47.738266214Z 30  http://blog.hhui.top 11 一灰灰
2019-07-23T13:48:24.754695002Z 30  http://blog.hhui.top 11 一灰灰2
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top 11 一灰灰3 110
> select count(*) from yhh where time>'2019-07-23T13:44:38.654374538Z' and time<'2019-07-23T13:50:43.440000821Z'  GROUP BY time(2m)
name: yhh
time                 count_age count_blog count_id
----                 --------- ---------- --------
2019-07-23T13:44:00Z 2         2          2
2019-07-23T13:46:00Z 0         0          0
2019-07-23T13:48:00Z 2         2          2
2019-07-23T13:50:00Z 0         0          0
复制代码


在上面的查询语句中,有几个地方需要说明一下


  • select后面跟上的是单个or多个field的聚合操作,根据时间进行分组时,不允许查询具体的field值,否则会有下面的错误提示
> select * from yhh where time>'2019-07-23T13:44:38.654374538Z' and time<'2019-07-23T13:50:43.440000821Z'  GROUP BY time(2m)
ERR: GROUP BY requires at least one aggregate function
复制代码


  • where条件限定查询的时间范围,否则会得到很多数据
  • group by time(2m) 表示每2分钟做一个分组, group by time(2s)则表示每2s做一个分组


2. 排序



在influxdb中排序,只支持针对time进行排序,其他的field,tag(因为是string类型,也没法排)是不能进行排序的


语法比较简单,如下,根据时间倒序/升序

order by time desc/asc
复制代码


一个简单的实例如下

# 根据非time进行排序时,直接报错
> select * from yhh order by age
ERR: error parsing query: only ORDER BY time supported at this time
# 根据时间进行倒排
> select * from yhh order by time desc
name: yhh
time                           age blog                 id name phone
----                           --- ----                 -- ---- -----
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top 11 一灰灰3 110
2019-07-23T13:48:24.754695002Z 30  http://blog.hhui.top 11 一灰灰2
2019-07-23T13:45:47.738266214Z 30  http://blog.hhui.top 11 一灰灰
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top 10 一灰灰
>
复制代码


3. 查询限制



我们常见的分页就是limit语句,我们常见的limit语句为 limit page, size,可以实现分页;然而在influxdb中则不同,limit后面只能跟上一个数字,表示限定查询的最多条数


a. limit


N指定每次measurement返回的point个数


SELECT_clause [INTO_clause] FROM_clause [WHERE_clause] [GROUP_BY_clause] [ORDER_BY_clause] LIMIT <N>
复制代码


下满给出几个实际的case

> select * from yhh limit 2
name: yhh
time                           age blog                 id name phone
----                           --- ----                 -- ---- -----
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top 10 一灰灰
2019-07-23T13:45:47.738266214Z 30  http://blog.hhui.top 11 一灰灰
# 分组之后,再限定查询条数
> select * from yhh group by "name" limit 1
name: yhh
tags: name=一灰灰
time                           age blog                 id phone
----                           --- ----                 -- -----
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top 10
name: yhh
tags: name=一灰灰2
time                           age blog                 id phone
----                           --- ----                 -- -----
2019-07-23T13:48:24.754695002Z 30  http://blog.hhui.top 11
name: yhh
tags: name=一灰灰3
time                           age blog                 id phone
----                           --- ----                 -- -----
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top 11 110
复制代码


b. slimit


N指定从指定measurement返回的series数


SELECT_clause [INTO_clause] FROM_clause [WHERE_clause] GROUP BY *[,time(<time_interval>)] [ORDER_BY_clause] SLIMIT <N>
复制代码


接下来演示下这个的使用姿势,首先准备插入几条数据,确保tag相同

> insert yhh,name=一灰灰,phone=110 blog="http://spring.hhui.top",age=14,id=14
> insert yhh,name=一灰灰,phone=110 blog="http://spring.hhui.top",age=15,id=15
> insert yhh,name=一灰灰,phone=110 blog="http://spring.hhui.top",age=16,id=16
> select * from yhh
name: yhh
time                           age blog                   id name phone
----                           --- ----                   -- ---- -----
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top   10 一灰灰
2019-07-23T13:45:47.738266214Z 30  http://blog.hhui.top   11 一灰灰
2019-07-23T13:48:24.754695002Z 30  http://blog.hhui.top   11 一灰灰2
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top   11 一灰灰3 110
2019-08-14T11:18:06.804162557Z 14  http://spring.hhui.top 14 一灰灰  110
2019-08-14T11:18:10.146588721Z 15  http://spring.hhui.top 15 一灰灰  110
2019-08-14T11:18:12.753413004Z 16  http://spring.hhui.top 16 一灰灰  110
> show series on test from yhh
key
---
yhh,name=一灰灰
yhh,name=一灰灰,phone=110
yhh,name=一灰灰2
yhh,name=一灰灰3,phone=110
复制代码


如下面的一个使用case

> select * from yhh group by * slimit 3
name: yhh
tags: name=一灰灰, phone=
time                           age blog                 id
----                           --- ----                 --
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top 10
2019-07-23T13:45:47.738266214Z 30  http://blog.hhui.top 11
name: yhh
tags: name=一灰灰, phone=110
time                           age blog                   id
----                           --- ----                   --
2019-08-14T11:18:06.804162557Z 14  http://spring.hhui.top 14
2019-08-14T11:18:10.146588721Z 15  http://spring.hhui.top 15
2019-08-14T11:18:12.753413004Z 16  http://spring.hhui.top 16
name: yhh
tags: name=一灰灰2, phone=
time                           age blog                 id
----                           --- ----                 --
2019-07-23T13:48:24.754695002Z 30  http://blog.hhui.top 11
name: yhh
tags: name=一灰灰3, phone=110
time                           age blog                 id
----                           --- ----                 --
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top 11
复制代码


说实话,这一块没看懂,根据官方的文档进行翻译的,没有get这个slimit的特点


4. 分页



上面只有point个数限制,但是分页怎么办?难道不支持么?


在influxdb中,有专门的offset来实现分页

SELECT_clause [INTO_clause] FROM_clause [WHERE_clause] [GROUP_BY_clause] [ORDER_BY_clause] LIMIT_clause OFFSET <N> [SLIMIT_clause]
复制代码


简单来讲,就是limit 条数 offset 偏移


使用实例

> select * from yhh
name: yhh
time                           age blog                   id name phone
----                           --- ----                   -- ---- -----
2019-07-23T13:45:38.654374538Z 26  http://blog.hhui.top   10 一灰灰
2019-07-23T13:45:47.738266214Z 30  http://blog.hhui.top   11 一灰灰
2019-07-23T13:48:24.754695002Z 30  http://blog.hhui.top   11 一灰灰2
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top   11 一灰灰3 110
2019-08-14T11:18:06.804162557Z 14  http://spring.hhui.top 14 一灰灰  110
2019-08-14T11:18:10.146588721Z 15  http://spring.hhui.top 15 一灰灰  110
2019-08-14T11:18:12.753413004Z 16  http://spring.hhui.top 16 一灰灰  110
# 查询结果只有2条数据,从第三个开始(0开始计数)
> select * from yhh limit 2 offset 3
name: yhh
time                           age blog                   id name phone
----                           --- ----                   -- ---- -----
2019-07-23T13:48:43.440000821Z 30  http://blog.hhui.top   11 一灰灰3 110
2019-08-14T11:18:06.804162557Z 14  http://spring.hhui.top 14 一灰灰  110
> select * from yhh limit 2 offset 3
复制代码


5. 小结



本篇influxdb的查询篇主要介绍了sql中的三种常用case,分组,排序,分页;虽然使用姿势和我们常见的SQL大同小异,但是一些特殊点需要额外注意一下


  • 分组查询时,注意分组的key必须是time或者tag,分组查询可以返回完整的point
  • 排序,只支持根据时间进行排序,其他的字段都不支持
  • 分页,需要注意limit size offset startIndex和我们一般的使用case不同,它的两个参数分别表示查询的point个数,以及偏移量;而不是传统sql中的页和条数



相关文章
|
14天前
|
SQL 缓存 Java
【详细实用のMyBatis教程】获取参数值和结果的各种情况、自定义映射、动态SQL、多级缓存、逆向工程、分页插件
本文详细介绍了MyBatis的各种常见用法MyBatis多级缓存、逆向工程、分页插件 包括获取参数值和结果的各种情况、自定义映射resultMap、动态SQL
【详细实用のMyBatis教程】获取参数值和结果的各种情况、自定义映射、动态SQL、多级缓存、逆向工程、分页插件
|
9天前
|
SQL 监控 安全
员工上网行为监控软件:SQL 在数据查询监控中的应用解析
在数字化办公环境中,员工上网行为监控软件对企业网络安全和管理至关重要。通过 SQL 查询和分析数据库中的数据,企业可以精准了解员工的上网行为,包括基础查询、复杂条件查询、数据统计与分析等,从而提高网络管理和安全防护的效率。
22 0
|
1月前
|
SQL 数据管理 数据库
SQL语句实例教程:掌握数据查询、更新与管理的关键技巧
SQL(Structured Query Language,结构化查询语言)是数据库管理和操作的核心工具
|
2月前
|
SQL 数据库
SQL error : “No query“问题参考
本文介绍了解决SQL中"No query"错误的步骤,包括错误提示、正确的SQL语句写法,以及更多相关参考信息。错误的原因是在构建更新语句时字段赋值之间缺少逗号,导致SQL解析失败。文章还提供了正确格式的SQL语句和相关错误处理的参考链接。
SQL error : “No query“问题参考
|
2月前
|
SQL 安全 Go
SQL注入不可怕,XSS也不难防!Python Web安全进阶教程,让你安心做开发!
在Web开发中,安全至关重要,尤其要警惕SQL注入和XSS攻击。SQL注入通过在数据库查询中插入恶意代码来窃取或篡改数据,而XSS攻击则通过注入恶意脚本来窃取用户敏感信息。本文将带你深入了解这两种威胁,并提供Python实战技巧,包括使用参数化查询和ORM框架防御SQL注入,以及利用模板引擎自动转义和内容安全策略(CSP)防范XSS攻击。通过掌握这些方法,你将能够更加自信地应对Web安全挑战,确保应用程序的安全性。
85 3
|
3月前
|
SQL 关系型数据库 数据挖掘
SQL 基础入门简直太重要啦!从零开始,带你轻松掌握数据查询与操作,开启数据世界大门!
【8月更文挑战第31天】在数字化时代,数据无处不在,而 SQL(Structured Query Language)则是开启数据宝藏的关键钥匙。无论你是编程新手还是数据处理爱好者,掌握 SQL 都能帮助你轻松提取和分析信息。SQL 简洁而强大,像一位魔法师,能从庞大数据库中迅速找到所需数据。从查询、条件筛选到排序、分组,SQL 功能多样,还能插入、更新和删除数据,助你在数据海洋中畅游无阻。
43 0
|
3月前
|
SQL 关系型数据库 数据库
|
4月前
|
SQL 安全 Go
SQL注入不可怕,XSS也不难防!Python Web安全进阶教程,让你安心做开发!
【7月更文挑战第26天】在 Web 开发中, SQL 注入与 XSS 攻击常令人担忧, 但掌握正确防御策略可化解风险. 对抗 SQL 注入的核心是避免直接拼接用户输入至 SQL 语句. 使用 Python 的参数化查询 (如 sqlite3 库) 和 ORM 框架 (如 Django, SQLAlchemy) 可有效防范. 防范 XSS 攻击需严格过滤及转义用户输入. 利用 Django 模板引擎自动转义功能, 或手动转义及设置内容安全策略 (CSP) 来增强防护. 掌握这些技巧, 让你在 Python Web 开发中更加安心. 安全是个持续学习的过程, 不断提升才能有效保护应用.
55 1
|
4月前
|
SQL Oracle 关系型数据库
MySQL、SQL Server和Oracle数据库安装部署教程
数据库的安装部署教程因不同的数据库管理系统(DBMS)而异,以下将以MySQL、SQL Server和Oracle为例,分别概述其安装部署的基本步骤。请注意,由于软件版本和操作系统的不同,具体步骤可能会有所变化。
306 3
|
4月前
|
SQL DataWorks 安全
DataWorks产品使用合集之在进行数据查询和数据处理时,如何通过数据建模与开发模块来创建和管理SQL脚本
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。