管理Logstore

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 管理Logstore


重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

删除Logstore必须提前删除所有Logtail配置,删除日志是通过设置更短的保存时间,本文介绍Logstore选型、创建及升级Logstore、删除Logstore与日志等操作。

基本概念

日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project,每个Project中可创建多个Logstore。

日志服务提供标准型(Standard)和查询型(Query)两种类型的Logstore。

重要

当计费模式为按写入数据量计费时,仅支持标准型(Standard)Logstore。

  • 标准型Standard Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。
  • 查询型Query Logstore:支持高性能查询,索引流量费用低于标准型,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

更多信息,请参见日志库(Logstore)

存储选型对比

按功能计费模式下,日志服务提供标准型和查询型两种类型的Logstore,两种类型的对比如下所示:

对比项

标准型

Standard Logstore

查询型

Query Logstore

费用

索引流量

0.350元/GB

0.1元/GB

功能

数据采集(仅业务系统日志场景)

支持

支持

不支持采集云产品日志。

开启智能存储分层

支持

支持

查询

支持

支持

分析(SQL语句)

支持

不支持

上下文查询

支持

支持

LiveTail

支持

支持

日志聚类

支持

不支持

重建索引

支持

支持

仪表盘

支持

不支持

告警

支持

仅支持基于查询语句的告警

定时SQL

支持

不支持

数据加工

支持

支持

数据投递

支持

支持

数据消费

支持

支持

使用限制

专属Logstore(系统Logstore、云产品日志专属Logstore等)只能用于存放其专属数据,不支持写入其他数据。

  • 例如internal-operation_log为系统Logstore,只能用于写入日志服务的详细日志。
  • 例如指定Project下的oss-log-store为OSS访问日志的专属Logstore,只能用于写入OSS访问日志。

创建Logstore

说明

一个Project中,最多创建200个Logstore。

  1. 登录日志服务控制台
  2. 在Project列表区域,单击目标Project。

  3. 日志存储 > 日志库页签中,单击+图标。
  4. 创建Logstore页面中,配置如下参数。

参数

描述

Logstore类型

日志服务提供查询型Logstore和标准型Logstore。两种类型的对比,请参见存储选型对比

支持将查询型Logstore升级为标准型Logstore。具体操作,请参见方式一

重要

不支持将标准型Logstore降级为查询型Logstore。

计费模式

Logstore的计费方式,包含按写入数据量计费按使用功能计费。具体信息,请参见计费项

说明

当首次使用按写入数据量计费时,需要根据界面提示进行开通。

Logstore名称

Logstore的名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

WebTracking

打开WebTracking开关后,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。更多信息,请参见使用Web Tracking采集日志

数据保存时间

日志在Logstore中的保存时间。

  • 选择数据保存模式为限定天数保存,并按需设置数据保存时间。单位为天,取值范围:1~3650。警告
    • 当日志保存时间达到您所设置的保存时间后,日志将被删除。
    • 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的用量明细将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。
  • 选择数据保存模式为永久保存时,日志服务将永久保存该Logstore中的日志。
    说明
    通过API方式获取数据保存时间时,如果对应值为3650则表示永久保存。

智能存储分层

开通智能存储分层,可按需将数据存储在热存储层、低频存储层或归档存储层。

  • 按需配置热存储数据保存时间,并选择后续自动转换低频存储时,数据保存超出配置的保存时间后,将自动转入低频存储层。若配置低频存储时间后选择自动删除,则数据保存在低频存储层超出配置的保存时间后将自动删除。
  • 按需配置热存储数据保存时间,并选择后续自动转换低频存储时,数据保存超出配置的保存时间后,将自动转入低频存储层。若配置低频存储时间后选择自动转换归档存储时,则数据保存在低频存储层超出配置的保存时间后将自动转入归档存储层。
  • 按需配置热存储数据保存时间,并选择后续自动转换归档存储时,数据保存超出配置的保存时间后,将自动转入归档存储层。若配置归档存储时间后选择自动删除,则数据保存在归档存储层超出配置的保存时间后将自动删除。

重要

  • 数据热存储、低频存储及归档存储相关信息,可参见数据分层存储概述
  • 数据热存储至少7天后才能转为低频存储,数据热存储至少30天后才能转为归档存储,数据低频存储至少30天后才能转为归档存储,详细信息,请参见数据存储生命周期管理
  • 数据热存储、低频存储及归档存储相关费用,请参见计费项

Shard数目

日志服务使用Shard读写数据。一个Shard提供的写入能力为5 MB/s、500次/s,读取能力为10 MB/s、100次/s。每个Logstore中最多创建10个Shard,每个Project中最多创建200个Shard。更多信息,请参见分区(Shard)

创建Logstore时,日志服务默认为您配置2个Shard。关于Shard的常见计费问题,请参见为什么会产生活跃Shard租用费用?

自动分裂Shard

打开自动分裂Shard开关后,如果您写入的数据量超过已有Shard服务能力,日志服务会自动根据数据量增加Shard数量。更多信息,请参见管理Shard

最大分裂数

打开自动分裂shard开关后,最多支持自动分裂至256个readwrite状态的Shard。

记录外网IP

打开记录外网IP开关后,日志服务自动把以下信息添加到日志的Tag字段中。

  • __client_ip__:日志来源设备的公网IP地址。
  • __receive_time__:日志到达服务端的时间,格式为Unix时间戳,表示从1970-1-1 00:00:00 UTC计算起的秒数。
  1. 单击确定

修改Logstore配置

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择 > 修改
  2. Logstore属性页面中,单击修改
    具体的参数说明请参见创建Logstore
    重要
    计费模式支持从按写入数据量计费修改为按功能计费。暂不支持由按功能计费修改为按写入数据量计费。
  3. 单击保存,完成修改。

升级Logstore规格

日志服务支持将查询型Logstore升级为标准型Logstore。您可以在Logstore属性页面或在执行分析相关的操作时,根据页面提示,完成升级。

重要

  • 升级后,默认打开当前字段索引的统计功能。统计功能仅对新写入的日志生效。
    开启统计功能,不会增加历史数据的索引流量费用。
  • 升级后,新写入的日志按照索引流量-日志索引计费项计算索引流量费用。更多信息,请参见按使用功能计费模式计费项

方式一

方式二

方式三

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择 > 修改
  2. Logstore属性页面中,单击修改
  3. Logstore类型配置项中,单击升级规格
  4. 在确认提示框中,单击确认升级
  5. 单击保存,完成修改。

删除Logstore

重要

  • 删除Logstore前需先删除其对应的所有Logtail配置。具体操作,请参见删除Logtail采集配置
  • 如果该Logstore上还启用了日志投递,建议删除前停止向该Logstore写入新数据,并确认Logstore中已有的数据已经全部投递成功。
  • 删除全部Logstore的当天仍会产生存储等费用,次日不再产生任何费用。即您在删除全部Logstore的第三天不会再收到日志服务的账单。
  • 删除Logstore后,以当前Logstore为数据源的导出任务、数据加工任务、定时SQL任务和以当前Logstore为目标的导入任务都将被删除。
    删除Logstore前,建议在任务管理 > 全部任务查看当前Project的全部任务,并删除与当前Logstore关联的任务。
  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择 > 删除
    警告
    Logstore一旦删除,其存储的日志数据将会被永久删除,不可恢复,请谨慎操作。
  2. 删除对话框中,单击确认

删除日志

当日志保存时间达到您所设置的保存时间后,日志将被删除。因此您可以通过修改数据保存时间,从而删除日志。

重要

缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的用量明细将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。

开启智能存储分层功能

您可以在Logstore属性页面,开启智能存储分层功能。具体操作,请参见开启智能存储分层

Logstore接口

操作

接口

操作

接口

创建Logstore

CreateLogStore

删除Logstore

DeleteLogStore

查询Logstore

修改Logstore

UpdateLogStore

相关阅读

如果想要将多个不同Logstore的数据进行汇总,可以使用数据加工,详情参见多源Logstore数据汇总

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
安全 数据处理 开发工具
第三方SDK合规浅析
近日,工信部通报了22款APP、SDK存在侵害用户权益行为。通报超半数的原因违反了《个保法》最小化收集的原则,包括超范围收集个人信息,APP强制、频繁、过度索取权限。
401 1
|
机器学习/深度学习 自然语言处理 搜索推荐
Transformer之十万个为什么?
这篇博文主要结合个人理解和思考,通过整理和自己的解释列出关于Transformer的部分重要问题(持续更新),看完后会对Transformer有个更好的理解。
Transformer之十万个为什么?
|
关系型数据库 Linux Apache
|
6月前
|
Ubuntu Linux Windows
IP地址查看方法
本指南介绍了在不同操作系统中查看设备IP地址的方法。在Windows系统中,可通过命令提示符(输入`ipconfig`)或设置界面查找IPv4地址;Linux系统中,使用终端命令`ifconfig`或`ip addr show`获取网络接口的IP;Mac系统则可在“系统偏好设置”中的“网络”查看,或通过终端执行相同命令获取。这些方法简单易行,适用于各种常见场景。
3389 11
|
网络协议 物联网 5G
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
|
编译器 API 语音技术
SDK介绍
【10月更文挑战第21天】
|
算法 Java 开发者
《黑神话:悟空》Xbox版的技术挑战与解决方案
【8月更文第26天】《黑神话:悟空》是一款备受期待的动作角色扮演游戏,以其精美的画面和丰富的中国神话故事背景而闻名。本篇文章将重点介绍游戏在Xbox平台上的技术挑战及其解决方案,特别是针对内存管理的问题。通过深入分析,我们将了解开发团队是如何克服这些挑战,确保游戏在Xbox上能够流畅运行的。
474 4
|
JSON 安全 API
⚡什么是 OpenAPI,优势、劣势及示例
OpenAPI 是一个用于描述RESTful API的标准,它提供了一个接口,使得人和机器无需源代码或文档就能理解服务。它定义了API的结构,与语言无关,适用于REST API。OpenAPI始于Swagger项目,后来成为OpenAPI倡议的一部分,由Linux基金会管理,得到了众多公司的支持。OpenAPI流行的原因包括其语言无关性、可读性、社区支持和工具生态系统。它使用JSON格式,支持各种数据类型,并具有严格定义的结构。虽然有其他如RAML和API Blueprint的竞争格式,但OpenAPI的广泛采用使其成为行业标准。
|
Ubuntu 虚拟化 Windows
将虚拟机dmesg日志内容通过串口输出到windows下文件中
将虚拟机dmesg日志内容通过串口输出到windows下文件中
479 0
|
Java Nacos 数据格式
Spring Cloud Nacos 详解:服务注册与发现及配置管理平台
Spring Cloud Nacos 详解:服务注册与发现及配置管理平台
654 3