阿里云Cloud Shell中使用日志服务CLI最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!

背景

目前阿里云云命令行Cloud Shell已经部署日志服务的命令行工具(CLI)(版本0.1.16, log-python-sdk-v-0.6.44并会定期升级),且根据当前登录用户自动配置好用户的临时AK和默认Region等。

常用场景

1. 管理日志服务资源

Cloud Shell下的默认Region如下:

中国站:杭州
国际站:新加坡
日本站:东京

因此使用日志服务CLI和常规部署后一样,在操作非默认Region下资源时,也需要切换Region,可以直接在命令行参数--region-endpoint中直接指定,例如以下查看当前用户上海Region下的日志服务Project:

aliyunlog log list_project --format-output=json --region-endpoint=cn-shanghai.log.aliyuncs.com

注意:如果要切换到ECS/局域网Region,目前只支持上海局域网(cn-shanghai-intranet.log.aliyuncs.com),其他Region目前只能是走公网Endpoint。

更多关于日志服务CLI的操作,请访问日志服务CLI文档中心日志服务CLI最佳实践集

2. 下载数据到NAS或者OSS

现有方案比较

也可以直接在Cloud Shell中使用日志服务CLI下载较大量数据,与其他方法的比较如下:

比较 控制台直接下载 本地运行CLI下载 Cloud Shell运行CLI下载 编程下载[2]
最大下载量 查询为前100条,统计是所有 百万级 十万级别[1] 无限
部署 需手工安装 自动部署 手工部署
秘钥传播 需要 自动 需要
局域网下载 支持(需要部署在对应Region ECS上) 仅上海 支持(需要部署在对应Region ECS上)
NAS集成 手动 自动[3] 手动
  1. Cloud Shell默认执行1个小时左右后需要重启
  2. 编程下载需要依赖消费组,可以参考相关最佳实践
  3. NAS在登录Cloud Shell会自动提示是否挂在NAS,确认后会自动在上海Region下并挂在一个的NAS(并提供5GB免费空间,推荐打开)。

操作步骤

  1. 在日志服务交互式界面下选择【通过命令行工具下载数据】时,选择对话框中高亮部分部分复制(注意:不需要复制--access-id开始部分):

image


  1. 打开Cloud Shell

image

  1. 粘贴步骤#1中的文本,并配置一个文件路径例如 >> download.txt

image

  1. 之前已经配置好NAS,可以在上海Region下看到对应的NAS盘:

image

进一步上传到OSS

  1. 运行命令aliyun oss ls可以查看当前可以操作的OSS的Bucket列表(以及Region信息)
  2. 选择合适的目标,运行如下命令
aliyun oss cp download.txt oss://bucket-name --region cn-hangzhou

注意:有一个oss://前缀,--region没有oss-前缀

进一步参考

目录
相关文章
|
12天前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
31 3
|
2月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
13天前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
1月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
165 3
|
2月前
|
Java Shell Linux
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
关于如何使用Shell脚本来解析Linux系统中的应用服务日志,提供了脚本实现的详细步骤和技巧,以及一些Shell编程的技能扩展。
47 0
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
|
3月前
|
Shell 测试技术 Linux
Shell 脚本循环遍历日志文件中的值进行求和并计算平均值,最大值和最小值
Shell 脚本循环遍历日志文件中的值进行求和并计算平均值,最大值和最小值
44 3
|
3月前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
2月前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
2月前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之appStack部署时没有日志是什么原因
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
2月前
|
应用服务中间件 Shell nginx
shell分析nginx日志的一些指令
shell分析nginx日志的一些指令

相关产品

  • 日志服务