半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 本场景介绍如何通过日志服务数据导入方式,将 OSS 数据导入到日志服务。
 

好运集市 春天好运会发芽🌱

半天掌握日志存储,云启实验室系等你来!

好运集市.jpeg

4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝、双肩包、VR眼镜等你来。
点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1

课程实践.png

半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入 实验背景

本场景将提供一台配置了 CentOS 7.7 版本的 ECS 实例(云服务器)。通过本教程的操作,您可以基于已有环境快速采集 Nginx 日志。
体验此场景后,可以掌握的知识有:
• 日志服务数据导入基本操作。

本场景主要涉及以下云产品和服务:
• 日志服务 SLS:
日志服务SLS是云原生观测与分析平台,为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。
• 云服务器 ECS:
云服务器(Elastic Compute Service,简称 ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器 ECS 免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云 ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。

实验后您将收获到
• 日志服务真实操作环境
• OSS 基本操作

半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入 实验手册

上传日志文件

1、双击打开虚拟桌面的Firefox ESR浏览器。

2、在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。

3、在浏览器中打开新页签,访问如下地址,下载测试日志文件。

https://labfileapp.oss-cn-hangzhou.aliyuncs.com/%E6%97%A5%E5%BF%97%E6%9C%8D%E5%8A%A1/testlog.csv

4、在浏览器中打开新页签,复制如下对象存储OSS控制台地址,粘贴到地址栏中并访问。

https://oss.console.aliyun.com/

5、在对象存储控制台左侧导航栏中,单击Bucket列表img

6、在Bucket列表页面,单击Bucket名称img

7、在文件管理页面,单击新建目录img

8、在新建目录对话框中,输入目录名sls,单击确定img

9、在文件管理页面,单击文件名slsimg

10、在sls目录中,单击上传文件img

11、在上传文件页面,文件ACL选择公共读,单击扫描文件,找到目录/home/adc/下载,选择下载好的测试日志test.log,然后单击上传文件img

任务列表页面,等待状态变为上传成功,表示测试日志文件已经上传成功到OSS。 img

创建Logstore

1、在浏览器中打开新页签,复制如下日志服务控制台地址,粘贴到地址栏中并访问。

https://sls.console.aliyun.com/

2、在日志服务控制台页面下方的Project列表区域,选择云产品资源列表中Project name,然后单击Project名称

img

img

3、在左侧日志库功能栏中,单击 img

img

4、在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

  • Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。 img

5、在创建成功对话框中,单击取消img

1、在日志服务控制台的接入数据区域,单击OSS-数据导入

img

2、在选择日志空间页面,在项目Project中选择云产品资源列表中的Project name,在日志库Logstore中选择步骤三中创建的Logstore,然后单击下一步img

3、在数据源设置页面,输入配置名称,选择OSS RegionBucket,输入文件夹前缀,选择数据格式,然后单击预览

参数说明:

  • 配置名称:自定义配置名称。
  • OSS Region:待导入的OSS文件所在Bucket的地域,可在云产品资源列表中查看Bucket的地域。
  • Bucket:待导入的OSS文件所在的Bucket,可在云产品资源列表中查看Bucket Name。
  • 文件夹前缀:待导入的OSS文件所在文件夹的前缀,输入sls/
  • 数据格式:文件的解析格式,选择单行文本日志。 img

4、在文件预览结果框中,预览数据,结果无误后,单击下个配置img

5、在数据格式配置页面,单击测试,测试结果无误后,单击下个配置img

6、在调度间隔页面,打开立即执行,单击下一步img

7、在查询分析配置页面,单击下一步img

8、在结束页面,单击查询日志img

9、在查询分析对话框中,单击确定img

10、在查询分析页面,稍等几分钟后,单击查询/分析,即可查询到从OSS导入的日志数据。

img

导入OSS数据

1、在日志服务控制台的接入数据区域,单击OSS-数据导入

img

2、在选择日志空间页面,在项目Project中选择云产品资源列表中的Project name,在日志库Logstore中选择步骤三中创建的Logstore,然后单击下一步img

3、在数据源设置页面,输入配置名称,选择OSS RegionBucket,输入文件夹前缀,选择数据格式,然后单击预览

参数说明:

  • 配置名称:自定义配置名称。
  • OSS Region:待导入的OSS文件所在Bucket的地域,可在云产品资源列表中查看Bucket的地域。
  • Bucket:待导入的OSS文件所在的Bucket,可在云产品资源列表中查看Bucket Name。
  • 文件夹前缀:待导入的OSS文件所在文件夹的前缀,输入sls/
  • 数据格式:文件的解析格式,选择单行文本日志。 img

4、在文件预览结果框中,预览数据,结果无误后,单击下个配置img

5、在数据格式配置页面,单击测试,测试结果无误后,单击下个配置img

6、在调度间隔页面,打开立即执行,单击下一步img

7、在查询分析配置页面,单击下一步img

8、在结束页面,单击查询日志img

9、在查询分析对话框中,单击确定img

10、在查询分析页面,稍等几分钟后,单击查询/分析,即可查询到从OSS导入的日志数据。

img

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
11月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
10月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1025 54
|
10月前
|
存储 数据可视化 开发工具
【Application Insights】Application Insights存储的Function App的日志存在"Operation Link" 为空的情况
在将 Azure Functions 升级到 .NET 8 和 Isolated Worker 模式后,Application Insights 的请求日志中 `operation_Link` 字段为空,导致分布式追踪无法正常关联。解决方法包括:确保引用正确的 SDK 包(如 `Microsoft.Azure.Functions.Worker.ApplicationInsights`),正确配置 Application Insights 服务,移除默认日志过滤规则,并使用最新依赖包以支持分布式追踪。通过这些步骤,可恢复端到端事务视图的可视化效果。
208 12
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
756 5
图解MySQL【日志】——Redo Log
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
1410 13
|
缓存 Java 编译器
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
1538 0
|
存储 关系型数据库 MySQL
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
602 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
4533 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

相关产品

  • 日志服务