SLS控制台日志下载功能全新升级

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。

背景

阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。

在本次功能升级前,控制台一次最多只能下载100条日志,更大量的日志下载场景只能选择其他三种方式。控制台下载的易用性使其成为大部分用户下载日志的首选,然而100条日志的单次下载限制又让大部分用户不得不选择其他的下载方式。基于以上问题,本次发布对控制台下载功能进行了升级,期望控制台下载的方式可以满足绝大部分用户的日志下载需求。

下载方式对比

日志服务目前提供控制台、Cloud Shell、SLS CLI以及SLS SDK这四种方式下载日志。这四种方式的对比如下

控制台下载

CloudShell下载

SLS CLI下载

SLS SDK下载

最大下载量

查询:20 GB

分析:2 GB

100万条

无数量限制

无数量限制

部署

自动部署

需手工安装CLI

手工部署

密钥

自动配置

需要手动配置

需要手动配置

局域网下载(不产生公网流量费用)

仅支持上海地域

支持(需要部署在对应地域的ECS上)

支持(需要部署在对应地域的ECS上)

NAS集成

自动

手动配置

手动配置

注:Cloud Shell、SLS CLI或SDK下载方式无数量限制,但可能由于网络等不确定因素,出现下载中断问题。

通过控制台下载

日志服务支持通过控制台直接将日志或查询分析结果下载到本地,两者的下载操作类似。如果您要下载查询分析结果,可在执行查询分析操作后,在统计图表页签中,单击下载日志。

1. 直接下载日志

登陆日志服务控制台,在Project列表区域,单击目标Project进入。进入目标Project之后,在日志存储 > 日志库页签中,单击目标Logstore进入。在原始日志页签中,点击下载logo,并选择下载日志。

在弹出的日志下载对话框中,完成如下配置,然后单击确认

其中各个配置项的说明如下

参数

说明

参数类型

时间范围

下载日志的时间范围

自动填充

查询语句

直接下载日志时,查询语句为空;下载查询分析结果时,展示对应的查询分析语句。

自动填充

任务名

下载任务的名称

选填,不填时系统会给一个随机的名称

日志数量

展示当前下载的日志数量

自动填充

数据格式

支持CSV格式和JSON格式。

  • 采用CSV格式时,文件中的列名将根据前100条日志的字段生成。如果后续日志存在新的字段,则所有新的字段将以JSON格式存放在CSV文件的最后一列(列名为空)。
  • 采用JSON格式时,单条日志的内容会转换为JSON格式,然后以单行形式写入文件。

必填,默认CSV

压缩方式

支持gzip、lz4、zstd等压缩方式,也支持不压缩。

当下载的日志数量比较多时,强烈建议采用压缩方式,可显著降低下载量,减少文件的下载时间。

必填,默认gzip

排序规则

日志的排序规则,按时间升序还是降序排列。

必填,默认按时间升序排列

quote字符

使用单引号还是双引号作为quote

必填,默认使用双引号作为quote

是否下载不精确的结果

下载查询分析结果时,如果查询分析结果不精确,是否继续下载。

必填,默认否

完成上述配置后,单击确认,系统将弹出日志导出历史对话框,展示直接下载的任务列表。等待任务状态为任务成功后,您可以单击下载,下载日志到本地。

您后续也可以在原始日志页签中,点击下载logo,并选择日志导出历史,打开日志导出历史对话框(目前控制台支持保存最近1天内的导出记录,超过1天的导出记录被自动清除)。

2. 下载查询分析结果

日志服务除了支持通过控制台直接将日志下载到本地外,也支持下载查询分析结果。两者的下载操作类似。如果您要下载查询分析结果,可在执行查询分析操作后,在返回结果的统计图表页签中,单击下载日志。

后续的配置以及下载步骤与直接下载日志的完全一致,可参考上一节的内容。

3. 限制说明

下面列出了控制台下载功能的一些使用限制以及注意事项:

  • 单次最多下载100万条日志。超出时,仅下载前100万条,如果需要下载全量日志,可缩小查询的时间范围,分多次下载。
  • 单次最多下载10万行分析结果。超出时,仅下载前10万条,如果需要下载全量的分析结果,可缩小查询的时间范围,分多次下载。
  • 单个阿里云账号最多支持3个并发下载操作(总下载次数无限制)。超出3个并发下载操作或多个RAM账号同时操作时,可能报错,此时您可等待其他操作完成后,再重试。
  • 支持保存最近1天内的导出记录,超过1天的导出记录被自动清除。
  • 在遇到网络错误或者查询不精确时,系统会自动重试下载任务。如果重试3次后,仍无法完成下载,则下载任务为失败状态。

其他下载方式

1. 通过Cloud Shell下载

您也可以通过Cloud Shell下载日志。更多信息,请参见使用Cloud Shell下载日志数据

注意:目前Cloud Shell位于上海地域,如果当前Logstore不在上海地域,下载日志会产生一定的公网流量费用。价格详情请参见产品定价

2. 通过SLS CLI下载

当您需要下载更大数量的日志时,可通过SLS的命令行工具下载。 更多信息,请参见使用日志服务CLI

注意:

  • 通过命令行工具下载日志时,需替换命令中的AK信息。请登录用户信息管理控制台获取阿里云账号AK。如果使用RAM用户进行下载,请登录RAM 控制台创建RAM用户并用RAM用户的AK信息。
  • 如果用于安装命令行工具的机器的所在地域与当前Project所在地域相同,建议切换为内网endpoint,下载速度更快且不会产生额外的外网带宽费用。

3. 通过SLS SDK下载

当您需要下载更大数量的日志时,可通过SDK下载。 更多信息,请参见SDK参考概述

结语

下面是 SLS 团队的技术博客,我们会不定期推出技术文章分享和产品更新介绍,欢迎大家订阅,有任何问题也欢迎与我们反馈。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
9月前
|
存储 调度 C++
16 倍性能提升,成本降低 98%! 解读 SLS 向量索引架构升级改造
大规模数据如何进行语义检索? 当前 SLS 已经支持一站式的语义检索功能,能够用于 RAG、Memory、语义聚类、多模态数据等各种场景的应用。本文分享了 SLS 在语义检索功能上,对模型推理和部署、构建流水线等流程的优化,最终带给用户更高性能和更低成本的针对大规模数据的语义索引功能。
664 71
|
监控 Kubernetes Go
日志采集效能跃迁:iLogtail 到 LoongCollector 的全面升级
LoongCollector 在日志场景中实现了全面的重磅升级,从功能、性能、稳定性等各个方面均进行了深度优化和提升,本文我们将对 LoongCollector 的升级进行详细介绍。
879 87
|
9月前
|
监控 安全 程序员
Python日志模块配置:从print到logging的优雅升级指南
从 `print` 到 `logging` 是 Python 开发的必经之路。`print` 调试简单却难维护,日志混乱、无法分级、缺乏上下文;而 `logging` 支持级别控制、多输出、结构化记录,助力项目可维护性升级。本文详解痛点、优势、迁移方案与最佳实践,助你构建专业日志系统,让程序“有记忆”。
736 0
|
存储 运维 监控
日志服务SLS焕新升级:卓越性能、高效成本、极致稳定与智能化
日志服务SLS焕新升级,涵盖卓越性能、高效成本、极致稳定与智能化。新功能特性包括Project回收站、ELasticsearch兼容方案及全链路数据处理能力提升。通过扫描计算模式和数据加工优化,实现更好的成本效果。案例分析展示了一家国内顶级车企如何通过日志服务实现跨云、跨地域的全链路数据处理,大幅提升问题处理效率。
506 9
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
1046 118
|
SQL 存储 缓存
日志服务 SQL 引擎全新升级
SQL 作为 SLS 基础功能,每天承载了用户大量日志数据的分析请求,既有小数据量的快速查询(如告警、即席查询等);也有上万亿数据规模的报表级分析。SLS 作为 Serverless 服务,除了要满足不同用户的各类需求,还要兼顾性能、隔离性、稳定性等要求。过去一年多的时间,SLS SQL 团队做了大量的工作,对 SQL 引擎进行了全新升级,SQL 的执行性能、隔离性等方面都有了大幅的提升。
723 120
|
运维 数据挖掘 API
阿里云百炼控制台全新升级
阿里云百炼控制台全新升级,更开放、高效、易用!主要变化包括:模型、应用等功能模块拆分,贴合使用场景;模型按“家族”聚类,搜索便捷;子业务空间授权入口调整,支持批量操作;应用相关功能集成在“应用”页面;新增MCP管理和广场,实现一键部署免运维,大幅降低开发门槛。
1992 14
阿里云百炼控制台全新升级
|
缓存 网络协议
(问题日志)解决因代理设置导致的npm包ECONNREFUSED下载错误
在AIoT-IDE中使用`npm i`安装依赖时,若出现长时间无响应及ECONNREFUSED错误,可能是网络配置或代理冲突导致。通过指定镜像源与日志排查,确认为旧代理配置遗留问题。解决步骤包括:验证镜像源可用性、清除npm缓存、检查并更新代理配置。最终重新设置正确代理端口后,依赖安装恢复正常。
459 2
|
Java 应用服务中间件 Linux
Tomcat运行日志字符错乱/项目启动时控制台日志乱码问题
总结: 通过以上几种方法,概括如下:指定编码格式、设置JVM的文件编码、修改控制台输出编码、修正JSP页面编码和设置过滤器。遵循这些步骤,你可以依次排查和解决Tomcat运行日志字符错乱及项目启动时控制台日志乱码问题。希望这些建议能对你的问题提供有效的解决方案。
2295 16
|
弹性计算 监控 安全
实测阿里云操作系统控制台:功能、诊断与优化
阿里云操作系统(AliOS)是阿里巴巴专为物联网和智能设备开发的操作系统,提供高效、安全、智能化的解决方案。本文介绍了如何开通和使用阿里云的云服务器ECS,包括注册、选择操作系统、创建用户及授权等步骤。通过控制台,用户可以实时监控设备状态、管理组件、进行性能诊断,并优化资源使用。掌握这些功能有助于提升系统管理和数据处理能力,满足物联网场景的多样化需求。建议进一步丰富系统健康指标和观测功能,以提供更好的用户体验。
709 24

相关产品

  • 日志服务