日志服务数据导入

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本场景介绍如何通过日志服务数据导入方式,将OSS数据导入到日志服务。

体验简介

本场景将提供一台配置了CentOS 7.7版本的ECS实例(云服务器)。通过本教程的操作,您可以基于已有环境快速采集Nginx日志。

体验此场景后,可以掌握的知识有:

日志服务数据导入基本操作。

背景知识

本场景主要涉及以下云产品和服务:

日志服务:
日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。

云服务器ECS:
云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。

上传日志文件

1、打开虚拟桌面的FireFox ESR浏览器,在RAM用户登录页面,输入云产品资源列表中的子用户名称,然后单击下一步。
O1CN01LgofOJ25mC7jFwCr7_!!6000000007568-2-tps-551-452.png
2、在用户密码页面,输入云产品资源列表中的子用户密码,然后单击登录。

O1CN01mxJ7XF1znDJEkLp2I_!!6000000006758-2-tps-591-467.png
O1CN01QvdRVI1mJoswyarYX_!!6000000004934-2-tps-493-280.png

3、在浏览器中打开新页签,访问如下地址,下载测试日志文件。

https://sls-shiyanshi.oss-cn-hangzhou.aliyuncs.com/sls/testlog.csv

4、在浏览器中打开新页签,复制如下对象存储OSS控制台地址,粘贴到地址栏中并访问。

https://oss.console.aliyun.com/

5、在对象存储控制台左侧导航栏中,单击Bucket列表。
O1CN01KhipY41LOrcZDtuNf_!!6000000001290-2-tps-261-611.png
6、在Bucket列表页面,单击Bucket名称。
O1CN01ttJYf11ZgBDb7ETqQ_!!6000000003223-2-tps-1882-311.png
7、在文件管理页面,单击新建目录。
O1CN01FykI2O22mhiYmSYgo_!!6000000007163-2-tps-1144-578.png
8、在新建目录对话框中,输入目录名sls,单击确定。
O1CN01GioH7r1sfF6gqxlOS_!!6000000005793-2-tps-627-816.png
9、在文件管理页面,单击文件名sls。
O1CN01sqZEpp27Kph5dOsdO_!!6000000007779-2-tps-693-165.png
10、在sls目录中,单击上传文件。
O1CN01aeKDb61je1VbeNpsh_!!6000000004572-2-tps-757-426.png
11、在上传文件页面,文件ACL选择公共读,单击扫描文件,找到目录/home/adc/下载,选择下载好的测试日志test.log,然后单击上传文件。
O1CN014wHr3I1HTCucr187g_!!6000000000758-2-tps-1127-770.png

在任务列表页面,等待状态变为上传成功,表示测试日志文件已经上传成功到OSS。

O1CN01dNB8ta1D9HDaLEcCd_!!6000000000173-2-tps-947-373.png

创建Logstore

1、在浏览器中打开新页签,复制如下日志服务控制台地址,粘贴到地址栏中并访问。

https://sls.console.aliyun.com/

2、在日志服务控制台页面下方的Project列表区域,选择云产品资源列表中Project name,然后单击Project名称。
O1CN01Tm2sNW1NniLLgwDAC_!!6000000001615-2-tps-492-75.png
O1CN01r2wKOU1m6znNd98uE_!!6000000004906-2-tps-1524-917.png
3、在左侧日志库功能栏中,单击
O1CN01d6igka1YLHWta5jqb_!!6000000003042-2-tps-23-22.png
请添加图片描述
4、在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定。
参数说明:

Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。
O1CN0121yjYP1mc8jC3YXDp_!!6000000004974-2-tps-625-874.png
5、在创建成功对话框中,单击取消。
O1CN01DUAUA01kPCJ2O9jUF_!!6000000004675-2-tps-598-234.png

导入OSS数据

1、在日志服务控制台的接入数据区域,单击OSS-对象存储。
O1CN012PxPDY1m9kAjrHAae_!!6000000004912-2-tps-1504-843.png
2、在选择日志空间页面,在项目Project中选择云产品资源列表中的Project name,在日志库Logstore中选择步骤三中创建的Logstore,然后单击下一步。
请添加图片描述
3、在数据源设置页面,输入配置名称,选择OSS Region、Bucket,输入文件夹前缀,选择数据格式,然后单击预览。
参数说明:

配置名称:自定义配置名称。

OSS Region:待导入的OSS文件所在Bucket的地域,可在云产品资源列表中查看Bucket的地域。

Bucket:待导入的OSS文件所在的Bucket,可在云产品资源列表中查看Bucket Name。

文件夹前缀:待导入的OSS文件所在文件夹的前缀,输入sls/。

数据格式:文件的解析格式,选择单行文本日志。

O1CN01gzMzqi1kUEf5WECzP_!!6000000004686-2-tps-1167-753.png

4、在文件预览结果框中,预览数据,结果无误后,单击下个配置。
O1CN01e8A2lb1WQCYEgZRpm_!!6000000002782-2-tps-996-278.png

5、在数据格式配置页面,单击测试,测试结果无误后,单击下个配置。
O1CN01FRDr8q1n1muP1UcBC_!!6000000005030-2-tps-1192-589.png

6、在调度间隔页面,打开立即执行,单击下一步。
O1CN01qAekxG1Oc5uW9l5Tg_!!6000000001725-2-tps-1342-406.png

7、在查询分析配置页面,单击下一步。
O1CN01Ipm5Tx1jo6DtN2Oqd_!!6000000004594-2-tps-1330-731.png
8、在结束页面,单击查询日志。
O1CN01KVgway1EeFcMtB5cm_!!6000000000376-2-tps-1227-266.png
9、在查询分析对话框中,单击确定。
O1CN01hSQzTM21eAitkXaB0_!!6000000007009-2-tps-661-185.png
10、在查询分析页面,稍等几分钟后,单击查询/分析,即可查询到从OSS导入的日志数据。
O1CN01HjJ05J1idHFQvVJpR_!!6000000004435-2-tps-1617-374.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
14天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
123 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
4月前
|
SQL 运维 监控
SLS 数据加工全面升级,集成 SPL 语法
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。
18182 140
|
14天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
1月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
37 2
|
3月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
1月前
|
SQL 关系型数据库 MySQL
Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
41 0
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
131 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
2月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
203 3
|
3月前
|
存储 监控 网络协议
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
|
3月前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
58 0
下一篇
无影云桌面