阿里云Cloud Shell中使用日志服务CLI最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!

背景

目前阿里云云命令行Cloud Shell已经部署日志服务的命令行工具(CLI)(版本0.1.16, log-python-sdk-v-0.6.44并会定期升级),且根据当前登录用户自动配置好用户的临时AK和默认Region等。

常用场景

1. 管理日志服务资源

Cloud Shell下的默认Region如下:

中国站:杭州
国际站:新加坡
日本站:东京

因此使用日志服务CLI和常规部署后一样,在操作非默认Region下资源时,也需要切换Region,可以直接在命令行参数--region-endpoint中直接指定,例如以下查看当前用户上海Region下的日志服务Project:

aliyunlog log list_project --format-output=json --region-endpoint=cn-shanghai.log.aliyuncs.com

注意:如果要切换到ECS/局域网Region,目前只支持上海局域网(cn-shanghai-intranet.log.aliyuncs.com),其他Region目前只能是走公网Endpoint。

更多关于日志服务CLI的操作,请访问日志服务CLI文档中心日志服务CLI最佳实践集

2. 下载数据到NAS或者OSS

现有方案比较

也可以直接在Cloud Shell中使用日志服务CLI下载较大量数据,与其他方法的比较如下:

比较 控制台直接下载 本地运行CLI下载 Cloud Shell运行CLI下载 编程下载[2]
最大下载量 查询为前100条,统计是所有 百万级 十万级别[1] 无限
部署 需手工安装 自动部署 手工部署
秘钥传播 需要 自动 需要
局域网下载 支持(需要部署在对应Region ECS上) 仅上海 支持(需要部署在对应Region ECS上)
NAS集成 手动 自动[3] 手动
  1. Cloud Shell默认执行1个小时左右后需要重启
  2. 编程下载需要依赖消费组,可以参考相关最佳实践
  3. NAS在登录Cloud Shell会自动提示是否挂在NAS,确认后会自动在上海Region下并挂在一个的NAS(并提供5GB免费空间,推荐打开)。

操作步骤

  1. 在日志服务交互式界面下选择【通过命令行工具下载数据】时,选择对话框中高亮部分部分复制(注意:不需要复制--access-id开始部分):
    image


  1. 打开Cloud Shell
    image


  1. 粘贴步骤#1中的文本,并配置一个文件路径例如 >> download.txt
    image


  1. 之前已经配置好NAS,可以在上海Region下看到对应的NAS盘:
    image


进一步上传到OSS

  1. 运行命令aliyun oss ls可以查看当前可以操作的OSS的Bucket列表(以及Region信息)
  2. 选择合适的目标,运行如下命令
aliyun oss cp download.txt oss://bucket-name --region cn-hangzhou

注意:有一个oss://前缀,--region没有oss-前缀

进一步参考

目录
相关文章
|
2月前
|
消息中间件 Cloud Native 应用服务中间件
阿里云云原生工程师认证(Alibaba Cloud Certified Associate,ACA)考试大纲
介绍阿里云云原生工程师认证(Alibaba Cloud Certified Associate,ACA)所需具备的知识及学习方法等。
468 1
|
2月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56524 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
2月前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
2月前
|
弹性计算 前端开发 Serverless
Serverless 应用引擎操作报错合集之在阿里云函数计算中,调用了FC函数但是没有执行或者报错,并且在FC函数后台也看不到调用记录日志如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
敏捷开发 Devops 测试技术
云效产品使用常见问题之不知道每次登录是否会记录在阿里云账号的登录日志中如何解决
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
2月前
|
域名解析 缓存 网络协议
阿里云DNS常见问题之阿里云DNS的操作日志查不到如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
2月前
|
存储 弹性计算 数据库
阿里云云计算工程师ACA认证(Alibaba Cloud Certified Associate - Cloud Computing)考试大纲
介绍阿里云云计算工程师ACA认证(Alibaba Cloud Certified Associate - Cloud Computing)所需具备的知识及学习方法等。
1064 1
|
2月前
|
运维 安全 Linux
联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
两种合作模式、四大权益!诚邀30家合作伙伴共建云上软件生态。
联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
|
2月前
|
云安全 架构师 安全
阿里云云计算架构师ACE认证(Alibaba Cloud Certified Expert - Cloud Architect)考试大纲
介绍阿里云云计算架构师ACE认证(Alibaba Cloud Certified Expert - Cloud Architect)所需具备的知识及学习方法等。
1028 2
|
2月前
|
存储 安全 网络安全
阿里云云计算高级工程师ACP认证(Alibaba Cloud Certified Professional - Cloud Computing)考试大纲
介绍阿里云云计算高级工程师ACP认证(Alibaba Cloud Certified Professional - Cloud Computing)所需具备的知识及学习方法等。
1250 1

相关产品

  • 日志服务