对象存储 OSS 日志统计功能|学习笔记

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习对象存储 OSS 日志统计功能

开发者学堂课程【管理功能玩转对象存储OSS使用入门对象存储 OSS 日志统计功能】学习笔记,与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/378/detail/4739


对象存储 OSS 日志统计功能


如何开启 0SS 的访问日志功能

1、OSS 为用户提供自动保存访问日志的功能Bucket 的拥有者可以通过 OSS 控制台,为其所拥有的 bucket 开启访问日志记录功能。

2、当一个 Bucket (源 Bucket,Source Bucket) 开启访问日志记录功能后,OSS,自动将访问 Bueket 中文件的的请求访问记录,以小时为单位,按照设置的命名规则,生成一个 object 写入用户指定的 bucket (目标 Bucket,TargetBucket)。日志每一小时自动生成一次(有一定延迟),这个日志会按照用户在控制台设置的命名规则在指定的 Bueket 下生成一个 object 文件作为日志文件通过日志文件用户可以分析到 Bueket 所有的请求还有访问的一个详细情况通过对生成的日志文件进行分析,可以轻松定位在 0SS Bucket 上的所有操作

3、具体的设置方法

(1)登陆控制台

点击上方的 logging 设置就是 oss 访问时功能设置的具体位置点击之后可以看到目前日志存储位置这个地方的选项设置是否存储证明目前 Bueket 是没有开启否认这个功能的不同步之后可以看到与当前 Bueket 同节点的所有 Bueket 名称可以选择将任职文件存在现在的 Bueket 里面或者也可以选择存放在其他的Bueket 里这个客户可以根据自己的需求来决定这边现在已存放在 Bueket 的下面点击之后页面上会提示输入日志的前缀日志的前缀是可以自定义的但是有一定的要求它可以包含字母数字和中划线但必须要以字母开头长度是1-32位的,测试以 test-abc 前缀为例点击设置,右上角会提示成功,证明已经开启了访问日志功能。注意日志这个地方可以为空可以不设置内容,可以把填写的日志前缀删除,然后点击设置,右上角提示设置成功即可

(2)点击更多帮助

在控制台设置的只是日志文件的前缀,并不是完整的日志文件名,点击更多帮助,看日志文件的具体明细规则,点击更多帮助之后,页面会跳转到帮助中心,可以看到具体的日志记录命名规则。可以看到它最前面的 TargetPrefix 指的是在控制台设置的日志文件名前缀,例如刚才设置的是 text.abc,后面 sourceBueket 指的是开启了访问日志功能的 Bueket 名称,刚才是在11阿里云 Bueket 下做的操作,所以sourceBueket 指的就是11阿里云,在后面的4个Y代表的是年份,例如2015 2014这样的一个年份接着的两个 M 代表的是月份,两个 D 代表的是几号后面的 H 代表的是小时,M 代表的是分钟,S 代表的是秒。最后面是系统自动生成的字符串,不用过于关注。

(3)看一个实际的访问日志的文件名

例如mylog-oss-example-2012-09-10-04-00-00-0000

mylog 代表的是在控制台设置的日志文件名前缀。OSS-example 代表的是开启访问日志功能的 Bueket 名称,后面2012-09-10-04-00-00-0000代表的是日志文件的创建时间,也就是2012年9月10号四点零分零秒。

(4)log 文件格式

在最下面位置点击访问日志记录,可以看到 log 日志文件的一个具体格式。在这个地方 log 文件中的信息是非常全面的,在这里可以看到具体的每个字段以及字段代表的含义中间也会有相应的一个例子。由于字段比较多,不再一一介绍用户可以通过访问 help.aliyun.com,进入到帮助中心在对象存储 oss用户手册、安全管理、访问日志记录,这个文档可以看到相关的一些信息。

(5)注意事项

首先 Bueket 的访问日志生成的 logo 文件算作一次 put 操作,并且会记录日志文件占用的 Bueket 空间,但是这个是不会产生流量的。日志文件生成之后,用户可以按照普通的 bucket 来操作这些日志文件,比如删除或者是获取地址等。另外一个是 oss 会忽略掉所有以 X 开头的客人 query-string 参数,但这 query-string 会被记录在访问 log 中。如果用户想从海量的访问日志中标识一个特殊的请求,可以在 URL 中添加一个 X 开头的客人 query-string 参数。举例,例如这个链接,第一个链接是 Bueket 下面一个普通的 PNG 图片,第二个链接则是添加了 X 开头的query-string 参数的链接,oss 在处理上面两个请求的时候,结果都是一样的,但是日志记录中会不一样,用户可以通过搜索自己设置的 X-开头的 query-string 参数,来很快的定位到经过标记的请求。最后一个问题是 oss 的 log 日志文件中任何一个字段都很可能会出现横杠这样的一个表示。这个主要是用来表示未知的数据,或者是对于当前请求操作该字段无效根据用户的需求,oss 的log 格式,将来会在尾部添加一些字段,这个地方需要log处理工具的开发者,到时候考虑一下工具的兼容性。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
19天前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
176 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
1月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
18天前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
92 0
|
21天前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
3月前
|
jenkins 持续交付
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
|
2月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
123 9
|
3月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
4月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS(对象存储服务)URL,会产生什么问题
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
存储 弹性计算 对象存储
预留空间是什么?阿里云OSS对象存储预留空间说明
阿里云OSS预留空间是预付费存储产品,提供折扣价以锁定特定容量,适用于抵扣有地域属性的Bucket标准存储费用及ECS快照费。通过购买预留空间,如500GB通用预留+100GB标准-本地冗余存储包,用户可优化成本。
163 4
|
4月前
|
运维 Serverless 数据处理
函数计算产品使用问题之在对象存储服务(OSS)上创建ZIP包解压触发器后,触发器未按预期执行,一般是什么导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。