通过云存储网关事件告警了解网关使用常见问题

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 本文通过云存储网关控制台事件告警中心,来说明网关使用过程中一些常见问题及相关的应对方法

背景:

云存储网关支持通过文件协议NFS/SMB来访问OSS Bucket里面的数据,用户通过创建NFS/SMB共享并绑定OSS Bucket从而实现以文件协议对OSS Bucket进行操作和管理。云存储网关控制台新上线的事件告警中心,则能帮助网关用户更方便的了解到当前使用网关上有哪些潜在的风险及问题。

事件告警中心:

image.png

用户可以通过时间范围,网关id,共享名称,当前是否正在告警等多个维度来筛选查看正在发生(已恢复或因网关删除不再有效的)的告警事件,也可以通过点击帮助文档来了解为何会产生此类告警事件及如何处置解决。
当前事件告警中心暂时支持三种事件,即“元数据空间不足”,“限流”及“上传队列堆积”等,下面就对这三种告警事件分别加以说明。

告警事件一:元数据空间不足

网关NFS/SMB共享需要一一对应一块缓存盘,缓存盘空间又分为数据缓存空间(对用户读写数据的缓存)以及元数据空间(存储目录结构及文件元数据等信息),网关共享管理的文件数目越多,使用的元数据空间也就越大,默认情况下会有20%的缓存盘空间用来存储元数据信息,当可用元数据空间耗尽的时候,网关共享将无法支持正常写入,因此当用户网关共享的可用元数据空间不足3GB,或者当缓存盘空间整体较小(<=75GB)情况下,可用元数据空间不足元数据空间总量的20%时候,会触发产生该告警事件。

用户可用通过网关控制台共享信息中的“可使用元数据空间”来了解具体情况
image.png

为了避免元数据空间耗尽导致的无法写入从而影响业务,建议用户在收到告警后,根据实际业务发展情况及时扩展共享对应的缓存盘大小,从而达到扩大元数据空间的目的,避免因元数据空间不足而导致无法写入。

告警事件二:限流

前面提到网关NFS/SMB共享对应的缓存盘有一大部分是作为用户读写数据的缓存空间。当用户通过网关挂载写入文件时,文件数据会先写入该缓存空间,当文件完全写入缓存并关闭后,网关才会将缓存中的文件数据上传至OSS。因此如果挂载写入一个远大于缓存空间的文件或者通过并发同时写入的文件大小总和远超过缓存空间都会导致触发产生该告警,同时网关共享也会变为限流状态,会极大限制挂载写入速度。

这里注意:通过挂载来读任意大小的文件并不会触发限流,因为读是切片的,网关并不会将整个文件内容读入缓存中。

为了避免限流引起的无法正常速度写入

  • 用户可以根据业务情况,对需要写入大文件的共享,对其缓存盘进行扩容操作,从而有更大的缓存空间来支持大文件写入。
  • 或者用户也可以根据业务实际情况对写入的大文件先进行压缩或者切片,对并发写入的文件调整降低并发数量等手段,来降低(同时)写入的文件数据总量,避免超过数据缓存空间后引起的限流。

告警事件三:上传队列堆积

导致该告警产生的情况比较多

  • OSS Bucket不存在
  • OSS Bucket配置了特定的RAM权限控制导致网关访问OSS Bucket受限,例如对访问源ip的黑白名单限制等
  • OSS Bucket为归档或者冷归档存储类型(细节可以参考官方文档)
    当由于上面种种原因导致网关无法正常将用户挂载写入的数据上传到OSS,从而上传队列产生堆积,当堆积量超过一定量之后触发产生该告警

用户可用通过网关控制台共享信息中的“上传队列”来了解具体情况
image.png

用户可以排查

  • OSS Bucket是否已经被删除,如果无需使用网关,请及时删除网关避免额外费用
  • OSS Bucket是否有配置了单独的RAM权限控制,特别是对访问源ip的限制
  • OSS Bucket是否为归档或者冷归档存储类型,网关建议用户使用标准存储类型的OSS Bucket,通过生命周期方式将部分数据转为归档或者冷归档。
相关文章
|
3月前
|
存储 弹性计算 缓存
云存储网关-高可用文件网关基本介绍
本文介绍云存储网关新推出的高可用文件网关使用方法及其架构原理。通过选择“高可用”选项,用户可在不同可用区部署网关,避免单点故障。文章详细描述了创建网关、配置虚拟挂载IP及缓存盘、创建共享等步骤,并解释了高可用架构如何通过数据复制和故障切换确保服务连续性和低延迟访问。
79 4
|
移动开发 安全 算法
mPaaS云平台运维系列之—移动网关常见问题
移动网关服务(Mobile Gateway Service,MGS)是mPaaS提供的连接移动客户端与服务端的组件产品。该组件简化了移动端与服务端的数据协议和通讯协议,能够显著提升开发效率和网络通讯效率。本章主要介绍产品常见问题。
1491 0
mPaaS云平台运维系列之—移动网关常见问题
|
存储 弹性计算 对象存储
云存储网关——文件网关
背景 阿里云对象存储OSS能提供海量、安全、低成本、高可靠的云存储服务。使用RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存储类型供选择全面优化存储成本。由于阿里云OSS具备以上所说的优势,所有一直是有大容量存储需求的首要选择,但是最近再做一个项目的时候,遇到了一个问题:geoserver 无法使用oss以url的形式支持读取影像数据,只能用路径地址来调用。
6738 0
|
存储 监控 对象存储
云存储网关集成SLS的网关日志上线
概述 云存储网关6月底商业化之后,在稳定性和性能不断提高的同时,安全和监控方面能力也进一步得到了增强。网关在1.0.39版本集成SLS日志服务输出了网关日志监控,主要解决以下的痛点: 网关提供了近期几天的性能监控图,但是没有查询历史性能数据的接口 前端写入了数据,用户如何能够知晓这些数据何时上云以及上云的响应时间 用户如何审计网关的上云增删改的所有操作 配置 云存储网关日志监控配置操作简单便捷,支持监控项的创建,删除,启用,禁用。
843 0
|
存储 缓存 安全
架起线上线下存储桥梁,云存储网关开放性能型文件网关及块网关公测
云存储网关支持行业标准的文件和块存储协议,可以通过在本地缓存经常访问的数据来提供低延迟高性能, 让企业或个人安全地将数据存储在阿里云OSS中,最新发布的“性能型文件网关”和“块网关”现已开通公测。
1917 0
|
存储 缓存 对象存储
利用云存储网关在Windows上挂载OSS
概述 阿里云OSS提供了海量低成本高可靠的对象存储,非常适合于存储文件,图像,视频等非结构化数据,同时也提供了丰富的SDK生态给开发者集成使用。但是对于开发资源有限的小企业或者个人用户而言,直接使用OSS存储还是存在诸多不便。
9657 0
|
存储 Linux API
如何经济高效使用云存储网关对接OSS存储
存储网关是一款可以为OSS存储提供文件访问接口的产品,从而用户可以像使用NAS一样在Windows/Linux操作系统里面直接挂载OSS进行使用。众所周知,OSS存储具有多种存储类型。那么对于所有的存储类型,云存储网关是否都适用呢?本文将围绕这一话题,展开一些探讨。
254 0
|
存储 Kubernetes 文件存储
使用阿里云容器ACK通过云存储网关(CSG)挂载OSS
本文将详细介绍如何使用阿里云容器服务ACK通过云存储网关挂载OSS。
1443 1
使用阿里云容器ACK通过云存储网关(CSG)挂载OSS

相关产品

  • 云存储网关