NAS日志分析用户指南

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,内容安全 1000次 1年
简介: NAS“日志分析”新功能,旨在帮助用户更好地监控文件系统资源。通过该功能,用户可以方便地跟踪系统性能问题,记录文件系统上的数据操作情况,审计文件删除等相关操作,有效监控各区域内文件系统资源大盘和明细信息,实时报警等

NAS文件存储是阿里云提供给用户的云上高性能文件系统存储服务。数据安全和性能是用户对文件存储服务最关注的两大因素,经常有用户反映以下这些情况:

    -  我想查看自己的文件存储服务性能指标(吞吐,iops等等)

    -  我想了解自己的文件系统内数据操作分布(读、写、新建、删除)

    -  我的文件系统内某某文件怎么没了?(文件误删除)

为了更好地服务用户,让用户清晰地了解到自己的文件系统在云上的运行状况,我们新推出了“NAS日志分析”功能,旨在帮助用户更好地管理文件系统资源。通过该功能,用户可以方便地跟踪系统性能问题,记录文件系统上的数据操作情况,审计文件删除等相关操作,有效监控各区域内文件系统资源大盘和明细信息,实时报警等。

NAS日志分析功能是阿里云文件存储(NAS)和日志服务(SLS)联合研发出的一个内建于NAS控制台内的日志分析功能,该日志分析服务能够实时写入10M/s 的日志数据,并实时分析每秒1000万行的日志记录,计算处理延时在秒级别以内。

1. 如何开通

目前NAS日志分析功能已全面对NAS用户开放,进入NAS控制台开箱即用。

具体步骤如下:

步骤一,登录阿里云官网NAS控制台

8e406838f03e6979afc42157f93393bc71dc3ddd


步骤二,在左侧导航栏找到“日志分析”一栏,点击“日志管理”

8e406838f03e6979afc42157f93393bc71dc3ddd

步骤三,进行日志授权

“NAS日志分析”功能涉及到使用用户自己的日志存储(由日志服务SLS提供),需要用户授权NAS服务将日志数据写入日志存储的相关权限。

用户需要如下操作:

点击“日志分析”->“日志管理”一栏,在右侧主页中点击“授权入口”,授权阿里云NAS服务可以写入您的日志存储数据。

9cec06b2a7ee83f133d6522cd22f8231a1680afc

在跳转的授权页面中,点击“同意授权”。

0c5f3ce2b3f7b01726bac0d05ec4e84560b53ced

步骤五,创建相应文件系统的日志转储

相关授权操作完成后,即可创建您相应文件系统的日志转储,将对应文件系统的运行日志导入您自己的日志存储(Log Store)中,以进行后续的日志分析工作。

2f71d2c56e51c656cd8208063905e127725752bc

至此,您已完成了NAS日志分析功能的完整配置。NAS日志数据已经导入到您自己的日志存储中,日志服务会在后台为您的NAS日志数据进行分析,随后您即可看到相关的日志分析信息。

 

2. 使用指南

在用户完成上述的服务开通和配置后,用户即可浏览相关的日志分析数据。

2.1 日志管理

登录阿里云官网NAS控制台,在左侧导航栏中点击“日志分析”->“日志管理”一栏,展示NAS日志分析功能的日志管理视图

a81d3d3d601d2f5af5a725051bab540e9cdae819

上图右侧列表中列出的2个文件系统表明已经由用户配置了日志分析功能,可以通过左侧的分析视图查询这2个文件系统相关的日志分析数据。

在列表的右侧有“操作”一栏,其中:

“点击前往”链接去往该日志最终存储的日志服务(SLS)控制台,在那里用户可以进行更细化的日志分析行为;

“停止”可以让用户手动关停某个文件系统的日志分析服务,该文件系统将从日志管理列表中移除,并停止日志数据的采集过程。

 

2.2 日志视图

用户在对已经配置了日志分析服务的文件系统进行一段时间的数据访问和操作后,系统会产生相关的访问日志,并采集相关日志数据,将其转储到日志服务(SLS)的Log Store中,日志服务对采集到的日志数据进行数据分析,随后,用户就可以通过日志视图查询到相关的分析和统计数据。

如上图左侧红框所示,目前提供了三个维度的文件系统日志分析视图:

总览视图:总览该区域内各个文件系统的总体指标、操作分布、客户端分布等

明细视图:详细展示具体的读写数据流、操作趋势、平均读写大小、异常状态等

审计视图:展示文件系统的创建、删除、读取、写入的审计信息等

 

2.2.1 总览视图

631ff825597316e6ed73ac8571a544da5a6b80c4

总览视图展示相应区域内文件系统资源访问的整体情况,包括分析的文件系统个数、总的写入流量和读取流量、最近访问的客户端个数、每个文件系统的客户端分布情况、创建、删除、读写数据的整体分布情况等。

2.2.2 明细视图

明细视图详细展示具体文件系统的数据操作细节。

dea619cdeae6313de7b7da17536827ebb4e5387b

->读数据流

展示了每个文件系统数据流入流出的情况,图表左侧表示客户端向文件系统写入数据,右侧表示客户端从文件系统读出数据。

最近访问的文件数量

展示了每个文件系统内最近访问的文件数量

操作趋势

展示了每个文件系统(NFS类型)在操作过程中单位时间内NFS协议的交互次数。

7a469c77b34825e551f693225472dfd9784f4742

/读操作流量趋势

展示了每个文件系统在读写数据时单位时间内的数据流量统计

平均写/读操作大小

展示了每个文件系统在读写数据时单位时间内平均单次IO的读写数据块大小

5c8a0a3642bc14580253e264ad6068817668fc6e

读写客户端Top

展示了客户端对相关文件系统操作的分布和热度

操作错误Top客户端

展示了客户端在与文件系统的NFS协议交互中返回错误状态的分布情况,这个“错误”不代表服务端异常,而是正常的协议交互错误,比如:客户端ls某个文件,而该文件不存在。

这个指标可以在一定程度上反向指导上层业务是否发生异常或者存在bug,比如,我们曾经遇到过一个客户案例,其有一个后台批处理应用频繁遍历若干不存在的目录,该指标值会瞬间拉升,最终发现是由于批处理进程存在一个遍历目录的bug,将路径拼错,导致业务暂停,造成了一定的损失。通过该指标,再结合相关报警,可以从数据源头感知业务的变化,从而帮助业务系统快速发现问题,解决问题。

热点操作分布

展示了每个文件系统常见操作的分布情况,这些常见操作包括创建目录(mkdir)、读目录(ls,遍历目录下的文件)、写(write)、读(read)、删除(rm)、重命名(rename)、以及其他。

热门文件

展示了每个文件系统内被访问频次较高的文件的分布情况,目前仅分析到文件所在inode,并没有给出文件在文件系统内的全路径,用户可以使用debugfs等相关工具根据文件inode反查pathname

5b7f33949a2eca5973997cde71b6734ccf38c94e

异常操作分布

展示了每个文件系统内异常操作的分布情况,如鉴权失败、网络错误、读写错误等

操作状态分布

展示了每个文件系统内整体操作的分布情况

2.2.3 审计视图

审计视图展示各文件系统内的敏感操作的审计信息和历史记录

909fc79e16256fc2a13d573c01f72d0f15ba108b

创建操作数

展示了每个文件系统在统计时间内的创建文件数量和分布

删除文件数

展示了每个文件系统在统计时间内的删除文件数量和分布

读取文件数

展示了每个文件系统在统计时间内的读取文件数量和分布

写入文件数

展示了每个文件系统在统计时间内的写入文件数量和分布

adf0a38043256bfada97321728d1640094e6780e

文件操作趋势图

在时间轴上展示了区域内所有文件系统的常见操作的分布和趋势,常见操作包括读文件、写文件、删除文件、创建文件等。

ec04e3194e2b2e3214855062cbab27dd4241da65

最近被删除文件列表

展示了该区域内最近发生删除操作的目录的历史列表,列表中包含了被删除文件所在父目录的inode、所在文件系统、执行删除操作的来源IP、挂载文件系统的NFS版本号、该目录下最近删除文件数目等信息

最近创建的文件

展示了该区域内最近发生创建操作的目录的历史列表,列表中包含了被创建文件所在父目录的inode、所在文件系统、执行创建操作的来源IP、挂载文件系统的NFS版本号、该目录下最近创建文件数目等信息

最近写文件Top

展示了该区域内最近发生写操作的文件Top榜,列表中包含了写操作所在文件系统、写操作文件inode、统计时间内的写数据大小、执行写操作的客户端数量、挂载文件系统的NFS版本号等信息

最近读文件Top

展示了该区域内最近发生读操作的文件Top榜,列表中包含了读操作所在文件系统、读操作文件inode、统计时间内的读数据大小、执行读操作的客户端数量、挂载文件系统的NFS版本号等信息

 

2.3 日志字段详解

在用户完成日志配置后,文件系统的访问日志将转储到日志服务(SLS)的Log Store中,通过“日志管理”列表中的操作栏“点击前往”可以进入SLS详情页查看具体的NAS日志数据,其具体日志字段释义如下:

字段名
字段值
字段含义
ArgIno
226
文件系统inode
AuthRc
0
授权返回码
NFSProtocolRc
0
NFS协议返回码
OpList
null NFSv4 Procedures编号
Proc 1 NFSv3 Procedures编号
RWSize
-1
读写大小,单位字节
RequestId
5ACF5CD506EAC7A508F056DF 请求ID
ResIno
null lookup的资源inode
SourceIp 172.18.159.169 客户端IP
User *********** 用户ID
Vers
3
NFS协议版本号
Vip
172.18.158.178
服务端IP
Volume
******** 文件系统ID
microtime
1523539157201995 请求发生时间,单位微秒


3. 注意事项

  -  关于日志分析是否跨区域

      不跨区域。

      NAS日志分析功能目前以区域(Region)划分,如华北1、华北2、华东1、华东2,不同区域产生各自的日志分析视图,同一个区域内的多个文件系统的日志数据做聚合分析,目前暂不支持对跨区域的文件系统做聚合分析。


  -  关于文件系统类型的支持

      目前NAS日志分析功能仅支持NFS协议类型,后续会支持SMB等其他类型。


  -  关于日志分析结果的延迟

      正常情况下,NAS日志从被采集到转储,到最终分析出结果,最大延迟在10s以内。


  -  关于收费

      NAS日志分析功能,目前处于申请公测阶段,在此期间,该功能不会产生任何费用。在公测阶段结束后,NAS可以免费将日志数据开放给用户,但日志存储和日志分析需要使用日志服务(SLS)的相关功能,其计费标准可以参考现行日志服务(SLS)的计费说明


 

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
目录
相关文章
|
存储 弹性计算 Cloud Native
云原生-云应用挂载持久化存储卷NAS及通过NAS实现批量机器并发查找日志
云原生-云应用挂载持久化存储卷NAS及通过NAS实现批量机器并发查找日志
416 0
云原生-云应用挂载持久化存储卷NAS及通过NAS实现批量机器并发查找日志
|
文件存储
NAS日志管理使用指南
NAS日志管理记录了一段时间内某一个文件系统处理的所有客户端的操作信息。下面对NAS日志管理的使用作简单的介绍:快速使用NAS快速使用NAS日志管理一、设置日志的查询时间进入日志页面后,先在右上角选择要查询分析的时间区间,点击“三角形”可以选择相对时间或者绝对时间区间。
2832 0
|
监控 应用服务中间件 文件存储
使用Logtail采集Kubernetes上挂载的NAS日志
采集k8s挂载Nas后的日志 该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的日志采集。两种采集方式的实现原理是一样的,都是通过将Logtail和业务容器挂载到相同的NAS上,使Logtail和业务容器的日志数据共享,以此实现日志采集。
4484 0
使用Logtail采集Kubernetes上挂载的NAS日志
|
监控 大数据 BI
NAS用户级日志实时分析功能:高效、便捷、快速分析NAS访问日志
支持对NAS下大量访问日志进行查询分析、并提供开箱即用的报表及灵活开放的报表与报警功能。帮助NAS用户管理自己的数据看板,实时了解访问明细,审计敏感操作,诊断问题,实时报警等。
4401 0
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
373 0
|
运维 文件存储 对象存储
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
326 0
|
存储 机器学习/深度学习 弹性计算
阿里云文件存储NAS简介和购买流程
阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX文件接口,可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业务系统上云。 支持智能冷热数据分层,有效降低数据存储成本。广泛应用于企业级应用数据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流、数据库备份等场景。
|
存储 运维 数据安全/隐私保护
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(四)
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(四)
310 0
|
存储 监控 安全
阿里云文件存储NAS(Apsara File Storage NAS)的测评体验报告
阿里云文件存储NAS(Apsara File Storage NAS)是一个弹性扩展的分布式文件系统,适用于各种企业级应用场景。本文将对其在内容管理系统和Web服务应用程序中的使用体验进行评估。
299 58
|
人工智能 文件存储
体验阿里云NAS+PAI-ECS部署Stable Diffusion文生图模型
当下,AIGC在生活中无处不见。作为一种新型的内容生产方式,AIGC在传媒、电商、影视等行业的作用可谓是卓有成效。我们可以用AI自主生成创造新的文本、图像、音乐、视频、3D交互内容,一定程度上为日常工作带来了很大的便利。
431 12
体验阿里云NAS+PAI-ECS部署Stable Diffusion文生图模型

相关产品

  • 文件存储 NAS
  • 日志服务