InfluxDB核心概念系列之数据元素

简介: 工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之数据元素。

工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之数据元素。

在InfluxDB中,其包括如下种类的数据元素。

  • timestamp
  • field key
  • field value
  • field set
  • tag key
  • tag value
  • tag set
  • measurement
  • series
  • point
  • bucket
  • bucket schema
  • organization

下面的示例数据用于说明数据元素概念。

Timestamp

InfluxDB 中存储的所有数据都有一个 _time 列,用于存储时间戳。 在磁盘上,时间戳以纪元纳秒格式存储。 InfluxDB 格式时间戳显示与数据关联的 RFC3339 UTC 中的日期和时间。 写入数据时,时间戳精度很重要。

Measurement

_measurement 列显示 measurement 的名称, measurement 名称为字符串,充当标签、字段和时间戳的容器。使用measurement来描述你的数据。

Fields

字段包括存储在_field 列中的字段键和存储在_value 列中的字段值。

Field key

字段键是表示字段名称的字符串。 在上面的示例数据中,bees 和 ant 是字段键。

Field value

字段值表示关联字段的值。 字段值可以是字符串、浮点数、整数或布尔值。 示例数据中的字段值显示了指定时间的蜜蜂数量:23 和 28 以及指定时间的蚂蚁数量:30 和 32。

Field set

字段集是与时间戳关联的字段键值对的集合。 示例数据包括以下字段集:

字段未编入索引:InfluxDB 数据中需要字段且未编入索引。 过滤字段值的查询必须扫描所有字段值以匹配查询条件。 因此,对标签 > 的查询比对字段的查询性能更高。 将常用查询的元数据存储在标签中。

Tags

示例数据中的location和scientist是标签。 标签包括存储为字符串和元数据的标签键和标签值。

Tag key

样本数据中的标签键是location 和scientist。

Tag value

标签键位置有两个标签值:klamath 和 portland。 标签键scientlist也有两个标签值:anderson 和 mullen。

Tag set

标签键值对的集合构成了一个标签集。 示例数据包括以下四个标签集:

标签被索引:标签是可选的。 您的数据结构中不需要标签,但通常包含标签是个好主意。 因为标签被索引,标签查询比字段查询更快。 这使得标签非常适合存储常见查询的元数据。

包含 UUID、散列和随机字符串等高度可变信息的标签会导致数据库中出现大量唯一序列,称为高序列基数。 高系列基数是许多数据库工作负载高内存使用率的主要驱动因素。 有关更多信息,请参阅系列基数。

为什么你的schema很重要

如果您的大多数查询都关注字段中的值,例如,查询何时计算了 23 只蜜蜂:

InfluxDB 在查询返回响应之前扫描数据集中的每个字段值是否有蜜蜂。 如果我们的样本统计数据增长到数百万行,为了优化您的查询,您可以重新排列您的架构,使字段(蜜蜂和蚂蚁)成为标签,标签(位置和科学家)成为字段:

既然蜜蜂和蚂蚁是标签,InfluxDB 就不必扫描所有 _field 和 _value 列。 这使您的查询更快。

Bucket schema

在 InfluxDB Cloud 中,具有显式架构类型的存储桶需要为每个度量指定显式架构。 测量包含标签、字段和时间戳。 显式模式限制了可以写入该度量的数据的形状。

以下模式限制了统计数据:

Series

现在您已经熟悉了度量(measurements)、字段集(filed sets)和标签集(tag sets),是时候讨论系列键(series keys)和系列(series)了。 系列键是共享度量、标签集和字段键的点的集合。 例如,示例数据包括两个唯一的系列键:

系列包括给定系列键的时间戳和字段值。 从示例数据中,这是一个系列键和相应的系列:

在 InfluxDB 中设计架构和处理数据时,理解系列的概念至关重要。

Point

一个点包括系列键、字段值和时间戳。 例如,样本数据中的一个点如下所示:

Bucket

所有 InfluxDB 数据都存储在一个存储桶中。 存储桶结合了数据库和保留期(每个数据点持续存在的持续时间)的概念。 一个桶属于一个组织。 有关存储桶的更多信息,请参阅管理存储桶

Organization

InfluxDB 组织是一组用户的工作区。 所有仪表板、任务、存储桶和用户都属于一个组织。 有关组织的更多信息,请参阅管理组织

相关文章
|
JSON Ubuntu Java
Elasticsearch聚合学习之四:结果排序
在前面的实战中,聚合的结果以桶(bucket)为单位,放在JSON数组中返回,这些数据是没有排序的,今天来学习如何给这些数据进行排序
333 0
Elasticsearch聚合学习之四:结果排序
|
时序数据库
influxDB时序数据库2.0FLUX查询语法使用记录
influxDB时序数据库2.0FLUX查询语法使用记录
|
13天前
|
存储 物联网 数据库
InfluxDB数据模型与数据结构设计详解
【4月更文挑战第30天】InfluxDB是一款高性能时序数据库,其数据模型由数据库、测量值、标签和字段组成。数据库存储相关数据,测量值类似表格,包含标签和字段。标签是元数据,用于分类和查询优化;字段存储实际数据值。设计时应注意明确测量值、合理定义标签、精简字段,利用标签索引优化查询,以及考虑数据生命周期和保留策略。理解这些概念有助于高效使用InfluxDB处理时序数据。
|
1月前
|
SQL 关系型数据库 数据库
InfluxDB相关概念
InfluxDB相关概念
18 0
|
10月前
|
存储 JSON 缓存
K8s日志组件-Loki是如何存储数据的?
日志记录本质上是一个事件。大多数语言、应用程序框架或库都支持日志,表现形式可以是字符串这样原始的非结构化数据,也可以是JSON等半结构化数据。开发者可以通过日志来分析应用的执行状况,报错信息,分析性能…… 正因为日志极其灵活,生成非常容易,没有一个统一的结构,所以它的体量也是最大的。
402 0
|
10月前
|
存储 自然语言处理 搜索推荐
ElasticSearch的基本介绍与用途、ElasticSearch中一些基本的概念、倒排索引的基本概念
ElasticSearch的基本介绍与用途、ElasticSearch中一些基本的概念、倒排索引的基本概念
89 1
|
11月前
|
存储 机器学习/深度学习 自然语言处理
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Pipeline聚合
大数据数据存储的搜索引擎Elasticsearch是一种常用的全文搜索引擎,支持对文本数据的实时搜索和分析。
76 0
|
11月前
|
存储 机器学习/深度学习 自然语言处理
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Matrix聚合
大数据数据存储的搜索引擎Elasticsearch是一种常用的全文搜索引擎,支持对文本数据的实时搜索和分析。
92 0
|
11月前
|
存储 搜索推荐 大数据
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Metric聚合
Elasticsearch提供了多种聚合操作,如metric、terms、tfidf、distance_calculator等。这些聚合操作可以帮助我们更好地理解和分析数据库中的信息。
69 1
|
11月前
|
存储 搜索推荐 大数据
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Buckting聚合
Elasticsearch提供了多种聚合操作,如metric、terms、tfidf、distance_calculator等。这些聚合操作可以帮助我们更好地理解和分析数据库中的信息。
64 1