管理Logstore

简介: 管理Logstore


重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

删除Logstore必须提前删除所有Logtail配置,删除日志是通过设置更短的保存时间,本文介绍Logstore选型、创建及升级Logstore、删除Logstore与日志等操作。

基本概念

日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project,每个Project中可创建多个Logstore。

日志服务提供标准型(Standard)和查询型(Query)两种类型的Logstore。

重要

当计费模式为按写入数据量计费时,仅支持标准型(Standard)Logstore。

  • 标准型Standard Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。
  • 查询型Query Logstore:支持高性能查询,索引流量费用低于标准型,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

更多信息,请参见日志库(Logstore)

存储选型对比

按功能计费模式下,日志服务提供标准型和查询型两种类型的Logstore,两种类型的对比如下所示:

对比项

标准型

Standard Logstore

查询型

Query Logstore

费用

索引流量

0.350元/GB

0.1元/GB

功能

数据采集(仅业务系统日志场景)

支持

支持

不支持采集云产品日志。

开启智能存储分层

支持

支持

查询

支持

支持

分析(SQL语句)

支持

不支持

上下文查询

支持

支持

LiveTail

支持

支持

日志聚类

支持

不支持

重建索引

支持

支持

仪表盘

支持

不支持

告警

支持

仅支持基于查询语句的告警

定时SQL

支持

不支持

数据加工

支持

支持

数据投递

支持

支持

数据消费

支持

支持

使用限制

专属Logstore(系统Logstore、云产品日志专属Logstore等)只能用于存放其专属数据,不支持写入其他数据。

  • 例如internal-operation_log为系统Logstore,只能用于写入日志服务的详细日志。
  • 例如指定Project下的oss-log-store为OSS访问日志的专属Logstore,只能用于写入OSS访问日志。

创建Logstore

说明

一个Project中,最多创建200个Logstore。

  1. 登录日志服务控制台
  2. 在Project列表区域,单击目标Project。

  3. 日志存储 > 日志库页签中,单击+图标。
  4. 创建Logstore页面中,配置如下参数。

参数

描述

Logstore类型

日志服务提供查询型Logstore和标准型Logstore。两种类型的对比,请参见存储选型对比

支持将查询型Logstore升级为标准型Logstore。具体操作,请参见方式一

重要

不支持将标准型Logstore降级为查询型Logstore。

计费模式

Logstore的计费方式,包含按写入数据量计费按使用功能计费。具体信息,请参见计费项

说明

当首次使用按写入数据量计费时,需要根据界面提示进行开通。

Logstore名称

Logstore的名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

WebTracking

打开WebTracking开关后,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。更多信息,请参见使用Web Tracking采集日志

数据保存时间

日志在Logstore中的保存时间。

  • 选择数据保存模式为限定天数保存,并按需设置数据保存时间。单位为天,取值范围:1~3650。警告
    • 当日志保存时间达到您所设置的保存时间后,日志将被删除。
    • 缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的用量明细将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。
  • 选择数据保存模式为永久保存时,日志服务将永久保存该Logstore中的日志。
    说明
    通过API方式获取数据保存时间时,如果对应值为3650则表示永久保存。

智能存储分层

开通智能存储分层,可按需将数据存储在热存储层、低频存储层或归档存储层。

  • 按需配置热存储数据保存时间,并选择后续自动转换低频存储时,数据保存超出配置的保存时间后,将自动转入低频存储层。若配置低频存储时间后选择自动删除,则数据保存在低频存储层超出配置的保存时间后将自动删除。
  • 按需配置热存储数据保存时间,并选择后续自动转换低频存储时,数据保存超出配置的保存时间后,将自动转入低频存储层。若配置低频存储时间后选择自动转换归档存储时,则数据保存在低频存储层超出配置的保存时间后将自动转入归档存储层。
  • 按需配置热存储数据保存时间,并选择后续自动转换归档存储时,数据保存超出配置的保存时间后,将自动转入归档存储层。若配置归档存储时间后选择自动删除,则数据保存在归档存储层超出配置的保存时间后将自动删除。

重要

  • 数据热存储、低频存储及归档存储相关信息,可参见数据分层存储概述
  • 数据热存储至少7天后才能转为低频存储,数据热存储至少30天后才能转为归档存储,数据低频存储至少30天后才能转为归档存储,详细信息,请参见数据存储生命周期管理
  • 数据热存储、低频存储及归档存储相关费用,请参见计费项

Shard数目

日志服务使用Shard读写数据。一个Shard提供的写入能力为5 MB/s、500次/s,读取能力为10 MB/s、100次/s。每个Logstore中最多创建10个Shard,每个Project中最多创建200个Shard。更多信息,请参见分区(Shard)

创建Logstore时,日志服务默认为您配置2个Shard。关于Shard的常见计费问题,请参见为什么会产生活跃Shard租用费用?

自动分裂Shard

打开自动分裂Shard开关后,如果您写入的数据量超过已有Shard服务能力,日志服务会自动根据数据量增加Shard数量。更多信息,请参见管理Shard

最大分裂数

打开自动分裂shard开关后,最多支持自动分裂至256个readwrite状态的Shard。

记录外网IP

打开记录外网IP开关后,日志服务自动把以下信息添加到日志的Tag字段中。

  • __client_ip__:日志来源设备的公网IP地址。
  • __receive_time__:日志到达服务端的时间,格式为Unix时间戳,表示从1970-1-1 00:00:00 UTC计算起的秒数。
  1. 单击确定

修改Logstore配置

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择 > 修改
  2. Logstore属性页面中,单击修改
    具体的参数说明请参见创建Logstore
    重要
    计费模式支持从按写入数据量计费修改为按功能计费。暂不支持由按功能计费修改为按写入数据量计费。
  3. 单击保存,完成修改。

升级Logstore规格

日志服务支持将查询型Logstore升级为标准型Logstore。您可以在Logstore属性页面或在执行分析相关的操作时,根据页面提示,完成升级。

重要

  • 升级后,默认打开当前字段索引的统计功能。统计功能仅对新写入的日志生效。
    开启统计功能,不会增加历史数据的索引流量费用。
  • 升级后,新写入的日志按照索引流量-日志索引计费项计算索引流量费用。更多信息,请参见按使用功能计费模式计费项

方式一

方式二

方式三

  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择 > 修改
  2. Logstore属性页面中,单击修改
  3. Logstore类型配置项中,单击升级规格
  4. 在确认提示框中,单击确认升级
  5. 单击保存,完成修改。

删除Logstore

重要

  • 删除Logstore前需先删除其对应的所有Logtail配置。具体操作,请参见删除Logtail采集配置
  • 如果该Logstore上还启用了日志投递,建议删除前停止向该Logstore写入新数据,并确认Logstore中已有的数据已经全部投递成功。
  • 删除全部Logstore的当天仍会产生存储等费用,次日不再产生任何费用。即您在删除全部Logstore的第三天不会再收到日志服务的账单。
  • 删除Logstore后,以当前Logstore为数据源的导出任务、数据加工任务、定时SQL任务和以当前Logstore为目标的导入任务都将被删除。
    删除Logstore前,建议在任务管理 > 全部任务查看当前Project的全部任务,并删除与当前Logstore关联的任务。
  1. 日志存储 > 日志库页签中,将鼠标悬浮在目标Logstore上,然后选择 > 删除
    警告
    Logstore一旦删除,其存储的日志数据将会被永久删除,不可恢复,请谨慎操作。
  2. 删除对话框中,单击确认

删除日志

当日志保存时间达到您所设置的保存时间后,日志将被删除。因此您可以通过修改数据保存时间,从而删除日志。

重要

缩短数据保存时间后,日志服务将在1小时内删除所有已超过保存时间的数据。但日志服务控制台首页的用量明细将于次日更新。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时内删除前4天的日志。

开启智能存储分层功能

您可以在Logstore属性页面,开启智能存储分层功能。具体操作,请参见开启智能存储分层

Logstore接口

操作

接口

操作

接口

创建Logstore

CreateLogStore

删除Logstore

DeleteLogStore

查询Logstore

修改Logstore

UpdateLogStore

相关阅读

如果想要将多个不同Logstore的数据进行汇总,可以使用数据加工,详情参见多源Logstore数据汇总

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
9月前
|
监控 安全 BI
使用日志服务SLS进行OSS可观测分析
本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。
380 0
|
30天前
|
SQL 存储 监控
使用CloudLens for SLS监控Project资源配额最佳实践
本文主要介绍如何使用CloudLens for SLS中全局错误日志、监控指标做Project 资源配额的水位监控 、超限监控 以及 如何提交资源配额提升申请。
79345 19
使用CloudLens for SLS监控Project资源配额最佳实践
|
30天前
|
存储 分布式计算 监控
操作审计最佳实践:将阿里云操作日志持续投递到您的 SLS/OSS
操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。 操作审计支持所有阿里云账号的免开通服务,默认为所有账号记录并存储近 90 天的日志。但在实际应用中,受法律法规和企业审计标准的要求,...
|
存储 运维 监控
基于阿里云SLS日志服务的数据安全管理
伴随云原生的发展,以应用为核心的可观测监控越发得到广泛应用。在应用的可观测性中,日志的收集及内容监控是可观测性监控的一个重要内容,然而日志的监控数据,并不同于某项指标的测量结果数据,其往往都会包含业务或与用户相关的敏感性信息,因此,在落实日志的收集和监控的同时,我们也要注意日志数据的安全管理。
|
30天前
|
存储 弹性计算 监控
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
概述背景介绍日志服务联合网络团队一起推出了包括VPC flowlog、CEN flowlog、VBR flowlog等在内的多种网络产品流日志,用于VPC的策略统计、弹性网卡流量统计以及网段间流量统计,帮助您快速、有效地监控和分析网络流日志,发现流量异常根源,实现网络流量的审计告警等功能。虽然客户可...
49 0
日志服务SLS最佳实践:通过SLS数据加工从VPC flowlog中过滤出跨region CEN流量
|
存储 数据采集 运维
SLS数据加工实现跨Logstore维表富化
跨Logstore维表富化指的是数据加工中通过资源函数(res_log_logstore_pull)从另一个Logstore中获取数据,并对获取到的数据进行富化,精准的过滤出预期数据,便于直观的得到预期信息。
382 0
|
存储 数据采集 运维
阿里云RAM账号配置SLS数据加工最佳实践
数据加工服务是阿里云SLS推出的面向日志ETL处理的服务,主要解决数据加工过程中转换、过滤、分发、富化等场景。使用数据加工功能时,将涉及数据读写权限以及数据加工操作权限的授予问题。本文档主要介绍:1. 使用主账号为RAM用户授权以使其具有浏览Logstore数据的权限并能够创建和修改数据加工作业;2. 在不同工作场景下使用RAM账号创建或修改数据加工的最佳实践方法。
|
SQL 存储 运维
SLS日志服务
SLS日志服务。。。。
1972 0
|
SQL 存储 弹性计算
日志审计:多账号下VPC Flow日志的采集与监控
VPC流日志的采集和监控在日志审计下的功能介绍及最佳实践
|
存储 数据采集 运维
SLS 基于维表的映射关系,将日志转发到不同的logstore
通过简单场景介绍日志服务-数据加工通过oss维表映射去实现将日志转发到不同的logstore
292 0