日志服务数据导入

简介: 本场景介绍如何通过日志服务数据导入方式,将OSS数据导入到日志服务。

日志服务数据导入

1. 实验资源方式简介及开始实验

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

  • 实验资源体验
  • 资源归属于客户,仅供本次实验使用
  • 实验结束后,实验资源及实验记录将被释放。
  • 资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
  • 说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

  • 领取免费试用额度
  • 使用个人账号开通试用,平台仅提供手册参考。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • 说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

  • 个人账户资源
  • 使用您个人的云资源进行操作,资源归属于个人。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 平台仅提供手册参考,不会对资源做任何操作。
  • 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 领取免费试用资源

实验前必看!

  • 如果您的阿里云主账号符合开通免费试用的资格,建议您开通免费试用日志服务,日志服务免费试用时长为3个月,每个月100CU额度,超出免费额度的用量,计入按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。

为了避免资源浪费并造成账号扣费的情况,请严格按照本文提供的参数进行配置。在实验完成之后,请您及时删除或禁用压测任务。

  1. 在实验开始前,请您选择领取免费试用额度

  1. 开通日志服务SLS免费试用。

2.1 在实验室页面下方,选择日志服务SLS,单击立即试用

2.2 在日志服务SLS面板上,选中服务协议,单击立即试用

  1. 开通对象存储OSS免费试用。

3.1 在实验室页面下方,选择对象存储OSS,单击立即试用

3.2 在对象存储OSS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

  1. 领取完免费试用后,返回资源领取界面,单击我已开通,进入实验

说明:如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。


3. 创建资源

  1. 开通日志服务SLS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了日志服务SLS免费试用,请您跳过本步骤,直接进行下一小节操作。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取日志服务SLS的免费试用,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您选择的个人资源,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述

1.1 登录日志服务控制台

1.2 根据页面提示,开通日志服务。

日志服务的计费说明,请参见计费概述

  1. 创建对象存储OSS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了对象存储OSS的免费试用,请您根据如下操作,创建Bucket。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取对象存储OSS的免费试用,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述
  • 如果您选择的个人资源,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述

2.1 前往对象存储OSS控制台,在左侧导航栏中,单击Bucket列表。

2.2 在Bucket列表页面,单击创建Bucket。

2.3 在创建Bucket面板,参考如下说明配置Bucket,未提及的配置保持默认选项,然后单击确定。

配置项

示例

说明

Bucket名称

自定义Bucket名称

自定义Bucket名称。

地域

华东1(杭州)

本教程以华东1(杭州)为例


4. 上传日志文件

  1. 双击打开虚拟桌面的Chromium浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 在浏览器中打开新页签,访问如下地址,下载测试日志文件。
https://sls-shiyanshi.oss-cn-hangzhou.aliyuncs.com/testlog.csv?Expires=1650361600&OSSAccessKeyId=TMP.3KimLK512zpEJsLZyN5sELRGm72eVLScR5hzeBot9BvE7GaBauYT9cpPp8tPkoL2XYraSb4BcGwTmHXB9CVAnfgyqTaNog&Signature=0c%2FeU%2FJTl45KsVfvAKXSG0TZ3Vo%3D
  1. 在浏览器中打开新页签,复制如下对象存储OSS控制台地址,粘贴到地址栏中并访问。
https://oss.console.aliyun.com/
  1. 对象存储控制台左侧导航栏中,单击Bucket列表

  1. Bucket列表页面,单击Bucket名称

  1. 文件管理页面,单击新建目录

  1. 新建目录对话框中,输入目录名sls,单击确定

  1. 文件管理页面,单击新建的文件目录

  1. sls目录中,单击上传文件

  1. 上传文件页面,选择文件ACL为公共读,单击扫描文件,找到目录/home/adc/下载,选择下载好的测试日志test.log,然后单击上传文件

任务列表页面,等待状态变为上传成功,表示测试日志文件已经上传成功到OSS。


5. 上传日志文件

  1. 在浏览器中打开新页签,单击此处下载测试日志文件
  2. 在浏览器中打开新页签,单击此处进入对象存储OSS服务台
  3. 对象存储控制台左侧导航栏中,单击Bucket列表

  1. Bucket列表页面,单击Bucket名称

  1. 文件管理页面,单击新建目录

  1. 新建目录对话框中,输入目录名sls,单击确定

  1. 文件管理页面,单击新建的文件目录

  1. sls目录中,单击上传文件

  1. 上传文件页面,选择文件ACL为公共读,单击扫描文件,找到目录/home/adc/下载,选择下载好的测试日志test.log,然后单击上传文件

任务列表页面,等待状态变为上传成功,表示测试日志文件已经上传成功到OSS。


6. 创建Logstore

  1. 在浏览器中打开新页签,复制如下日志服务控制台地址,粘贴到地址栏中并访问。
https://sls.console.aliyun.com/
  1. 全部的Project列表,单击已创建的Project名称。您可以在云产品资源列表中查看已创建的日志项目的名称(即下图中的Project name)。

  1. 在左侧日志库功能栏中,单击图标。

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

  • Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

  1. 创建成功对话框中,单击取消


7. 创建Logstore

  1. 前往日志服务SLS服务台
  2. Project列表区域,单击创建Project

2.1 配置新创建的Project。

  • 所属地域默认选择即可。
  • Project名称:shiyantest1。

2.2 单击关闭

2.3 单击已经创建的Project进入。

  1. 在左侧日志库功能栏中,单击图标。

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

  • Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

5. 创建成功对话框中,单击取消


8. 导入OSS数据

  1. 在日志服务控制台的接入数据区域,单击OSS-对象存储

  1. 选择日志空间环节,在项目Project中选择云产品资源列表中的Project name,在日志库Logstore中选择步骤三中创建的Logstore,然后单击下一步

  1. 数据源设置环节,输入配置名称,选择OSS RegionBucket,输入文件夹前缀,选择数据格式,然后单击预览

参数说明:

  • 配置名称:自定义配置名称。
  • OSS Region:待导入的OSS文件所在Bucket的地域,可在云产品资源列表中查看Bucket的地域。
  • Bucket:待导入的OSS文件所在的Bucket,可在云产品资源列表中查看Bucket Name。
  • 文件夹前缀:待导入的OSS文件所在文件夹的前缀,输入sls/
  • 数据格式:文件的解析格式,选择单行文本日志

  1. 文件预览结果框中,预览数据,结果无误后,单击下个配置

  1. 数据格式配置环节,单击测试,测试结果无误后,单击下个配置

  1. 调度间隔环节,打开立即执行开关,单击下一步

  1. 查询分析配置环节,单击下一步

  1. 结束页面,单击查询日志

  1. 查询分析对话框中,单击确定

  1. 查询分析页面,稍等几分钟后,单击查询/分析,即可查询到从OSS导入的日志数据。


9. 清理及后续

清理

日志服务SLS

SLS提供3个月100 CU的免费试用资源。完成教程后,请参考以下场景处理SLS资源:

  • 如果无需继续使用日志服务,您可以登录日志服务控制台,进入目标Project,然后在左侧日志库列表中单击目标日志库,进入数据接入>Logtail配置,删除Logtail。单击>删除,删除日志库。最后在日志服务控制台首页,删除目标Project。
  • 如果需继续使用日志服务,请务必至少在存储包试用到期1小时前为您的阿里云账号充值或购买新的存储包。欠费后如果在延停权益额度内,您的服务将不会受到停服影响。欠费后如果超出了延停权益额度,日志服务将自动停止。而您所占用的存储资源仍会继续扣费,因此欠费会累积。如果您在日志服务停服后7天内充值补足欠费,日志服务会自动启用。停服超过7天,将视为您主动放弃服务,日志服务Project将被回收,数据会被清理且不可恢复。请注意,数据清理之前仍会继续计费,若您确认不再使用日志服务,请务必删除日志服务上的资源。

对象存储OSS

OSS提供3个月的免费资源包,包含每月20 GB的标准(LRS)存储、每月2 GB的下行流量、每月20万次的请求数。完成教程后,请参考以下场景处理OSS资源:

  • 如果无需继续使用OSS Bucket,您可以登录对象存储OSS控制台,在文件列表页面,找到视频课程文件,然后在文件右侧操作列,选择>彻底删除,根据界面提示删除文件。然后在左侧导航栏,选择删除Bucket,在删除Bucket页面,单击删除Bucket,然后根据界面提示删除Bucket。
  • 如果需继续使用OSS Bucket,请务必至少在资源包试用到期1小时前为您的阿里云账号充值或购买新的资源包。欠费后如果在延期免停权益额度内,您的服务将不会受到停服影响。欠费后如果超出了延期免停权益额度,OSS服务将自动停止。如果您在OSS停服后15天内未补足欠款,将视为您主动放弃OSS存储服务,阿里云将终止本产品服务条款并停止为您继续提供服务,您保存在阿里云的全部数据将会被清理删除,清理后数据不可恢复。

后续

在试用有效期期间,您还可根据希望测试的其它业务场景继续使用日志服务。


10. 清理及后续

清理

日志服务SLS

完成教程后,请参考以下场景处理SLS资源:

  • 如果无需继续使用日志服务,您可以登录日志服务控制台,进入目标Project,然后在左侧日志库列表中单击目标日志库,进入数据接入>Logtail配置,删除Logtail。单击>删除,删除日志库。最后在日志服务控制台首页,删除目标Project。
  • 如果需继续使用日志服务,请随时关注账户扣费情况。

对象存储OSS

OSS提供3个月的免费资源包,包含每月20 GB的标准(LRS)存储、每月2 GB的下行流量、每月20万次的请求数。完成教程后,请参考以下场景处理OSS资源:

  • 如果无需继续使用OSS Bucket,您可以登录对象存储OSS控制台,在文件列表页面,找到视频课程文件,然后在文件右侧操作列,选择>彻底删除,根据界面提示删除文件。然后在左侧导航栏,选择删除Bucket,在删除Bucket页面,单击删除Bucket,然后根据界面提示删除Bucket。
  • 如果需继续使用日志服务,请随时关注账户扣费情况。

后续

在产品有效期期间,您还可根据希望测试的其它业务场景继续使用日志服务。

实验链接:https://developer.aliyun.com/adc/scenario/a721f0acedc64460b83572997be0683f

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
16天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
124 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
5月前
|
SQL 运维 监控
SLS 数据加工全面升级,集成 SPL 语法
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。
18182 139
|
16天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
2月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
37 2
|
4月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
2月前
|
SQL 关系型数据库 MySQL
Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
41 0
|
4月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
131 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
3月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
211 3
|
4月前
|
存储 监控 网络协议
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
|
4月前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
58 0

热门文章

最新文章

下一篇
无影云桌面