InfluxDB核心概念系列之数据元素

简介: 工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之数据元素。

工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之数据元素。

在InfluxDB中,其包括如下种类的数据元素。

  • timestamp
  • field key
  • field value
  • field set
  • tag key
  • tag value
  • tag set
  • measurement
  • series
  • point
  • bucket
  • bucket schema
  • organization

下面的示例数据用于说明数据元素概念。

Timestamp

InfluxDB 中存储的所有数据都有一个 _time 列,用于存储时间戳。 在磁盘上,时间戳以纪元纳秒格式存储。 InfluxDB 格式时间戳显示与数据关联的 RFC3339 UTC 中的日期和时间。 写入数据时,时间戳精度很重要。

Measurement

_measurement 列显示 measurement 的名称, measurement 名称为字符串,充当标签、字段和时间戳的容器。使用measurement来描述你的数据。

Fields

字段包括存储在_field 列中的字段键和存储在_value 列中的字段值。

Field key

字段键是表示字段名称的字符串。 在上面的示例数据中,bees 和 ant 是字段键。

Field value

字段值表示关联字段的值。 字段值可以是字符串、浮点数、整数或布尔值。 示例数据中的字段值显示了指定时间的蜜蜂数量:23 和 28 以及指定时间的蚂蚁数量:30 和 32。

Field set

字段集是与时间戳关联的字段键值对的集合。 示例数据包括以下字段集:

字段未编入索引:InfluxDB 数据中需要字段且未编入索引。 过滤字段值的查询必须扫描所有字段值以匹配查询条件。 因此,对标签 > 的查询比对字段的查询性能更高。 将常用查询的元数据存储在标签中。

Tags

示例数据中的location和scientist是标签。 标签包括存储为字符串和元数据的标签键和标签值。

Tag key

样本数据中的标签键是location 和scientist。

Tag value

标签键位置有两个标签值:klamath 和 portland。 标签键scientlist也有两个标签值:anderson 和 mullen。

Tag set

标签键值对的集合构成了一个标签集。 示例数据包括以下四个标签集:

标签被索引:标签是可选的。 您的数据结构中不需要标签,但通常包含标签是个好主意。 因为标签被索引,标签查询比字段查询更快。 这使得标签非常适合存储常见查询的元数据。

包含 UUID、散列和随机字符串等高度可变信息的标签会导致数据库中出现大量唯一序列,称为高序列基数。 高系列基数是许多数据库工作负载高内存使用率的主要驱动因素。 有关更多信息,请参阅系列基数。

为什么你的schema很重要

如果您的大多数查询都关注字段中的值,例如,查询何时计算了 23 只蜜蜂:

InfluxDB 在查询返回响应之前扫描数据集中的每个字段值是否有蜜蜂。 如果我们的样本统计数据增长到数百万行,为了优化您的查询,您可以重新排列您的架构,使字段(蜜蜂和蚂蚁)成为标签,标签(位置和科学家)成为字段:

既然蜜蜂和蚂蚁是标签,InfluxDB 就不必扫描所有 _field 和 _value 列。 这使您的查询更快。

Bucket schema

在 InfluxDB Cloud 中,具有显式架构类型的存储桶需要为每个度量指定显式架构。 测量包含标签、字段和时间戳。 显式模式限制了可以写入该度量的数据的形状。

以下模式限制了统计数据:

Series

现在您已经熟悉了度量(measurements)、字段集(filed sets)和标签集(tag sets),是时候讨论系列键(series keys)和系列(series)了。 系列键是共享度量、标签集和字段键的点的集合。 例如,示例数据包括两个唯一的系列键:

系列包括给定系列键的时间戳和字段值。 从示例数据中,这是一个系列键和相应的系列:

在 InfluxDB 中设计架构和处理数据时,理解系列的概念至关重要。

Point

一个点包括系列键、字段值和时间戳。 例如,样本数据中的一个点如下所示:

Bucket

所有 InfluxDB 数据都存储在一个存储桶中。 存储桶结合了数据库和保留期(每个数据点持续存在的持续时间)的概念。 一个桶属于一个组织。 有关存储桶的更多信息,请参阅管理存储桶

Organization

InfluxDB 组织是一组用户的工作区。 所有仪表板、任务、存储桶和用户都属于一个组织。 有关组织的更多信息,请参阅管理组织

相关文章
|
3月前
|
SQL 关系型数据库 数据库
InfluxDB相关概念
InfluxDB相关概念
35 0
|
3月前
|
Java 网络架构 索引
Elasticsearch 如何实现索引的伪·命名空间
Elasticsearch 如何实现索引的伪·命名空间
32 0
|
存储 SQL 自然语言处理
|
存储 自然语言处理 搜索推荐
ElasticSearch的基本介绍与用途、ElasticSearch中一些基本的概念、倒排索引的基本概念
ElasticSearch的基本介绍与用途、ElasticSearch中一些基本的概念、倒排索引的基本概念
109 1
|
存储 搜索推荐 大数据
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Metric聚合
Elasticsearch提供了多种聚合操作,如metric、terms、tfidf、distance_calculator等。这些聚合操作可以帮助我们更好地理解和分析数据库中的信息。
84 1
|
存储 SQL 自然语言处理
二.全文检索ElasticSearch经典入门-倒排索引&核心概念&集群概念&分片机制
二.全文检索ElasticSearch经典入门-倒排索引&核心概念&集群概念&分片机制
|
存储 机器学习/深度学习 自然语言处理
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Pipeline聚合
大数据数据存储的搜索引擎Elasticsearch是一种常用的全文搜索引擎,支持对文本数据的实时搜索和分析。
96 0
|
存储 机器学习/深度学习 自然语言处理
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本聚合的Matrix聚合
大数据数据存储的搜索引擎Elasticsearch是一种常用的全文搜索引擎,支持对文本数据的实时搜索和分析。
105 0
|
存储 数据可视化 关系型数据库
Elasticsearch特性与应用场景
Elasticsearch是著名的开源分布式搜索和数据处理平台,是一个基于Lucene的分布式、实时、全文搜索系统,其稳定、可靠、高可用、可大规模扩展等特性,使得Elasticsearch的应用十分广泛。特别是结合Logstash、Kibana形成的ELK套件,更是在日志收集和可视化场景被大规模应用。 本文是Elasticsearch系列的第一篇,将会重点介绍Elasticsearch的核心特性以及应用场景。
903 0
|
API 索引
白话Elasticsearch73_ES生产集群中的索引管理02
白话Elasticsearch73_ES生产集群中的索引管理02
78 0