开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
276
内容
0
活动
66
关注
|
机器学习/深度学习 存储 SQL
|

SLS新版告警入门-统一的查询分析语法

SLS新版告警支持多种监控目标,如SLS的日志存储,时序存储;也支持对外部系统如Promethus,Grafana,Zabbix产生的告警进行管理;在对SLS的存储进行监控时,用户可以自定义告警监控规则或者使用内置的告警规则。自定义告警监控规则主要包括监控目标,触发条件,行动配置等。本文主要介绍在创建自定义告警规则时,如何使用统一的查询分析语法来查询并定义监控目标。

2309 0
|
存储 固态存储 虚拟化
|

【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN ESXi超融合HCI分布式存储数据恢复案例

近期,我司处理了一个由10台华为OceanStor存储组成的vSAN超融合架构,其中一台存储闪存盘出现故障,用户取下后用新的闪存盘代替,然后对该闪存盘所在的磁盘组进行重建,导致集群中一台使用0置备策略的虚拟机数据丢失。

543 6
|
弹性计算 安全 关系型数据库
|

阿里云产品在技术探索中的实践和思考

本文讲述了作者在使用阿里云产品进行技术探索的实践中,如何借助ECS、RDS、OSS、SLB和VPC构建高可用分布式系统。从最初的虚拟主机服务到全面的云服务,阿里云帮助解决了性能、负载均衡、数据存储和网络安全等问题。在面对性能优化、成本控制和安全管理的挑战时,作者通过监控、调整和采用安全措施确保了系统的高效运行。未来,作者将继续在云计算领域探索,利用AI、大数据及物联网技术驱动业务创新和增长。

670 0
|
数据采集 中间件 Shell
|

一文了解常见的Python爬虫框架Scrapy

爬虫框架:Scrapy

2049 1
|
存储 机器学习/深度学习 人工智能
|

从云存储的角度浅显的聊一聊 AIGC

现在,你要是还没听过“通义千问”、“通义听悟”,出门都不好意思和别人打招呼。那么,以其为代表的 AIGC(AI Generated Content)又是如何凭实力屡屡破圈,其发展更是经历了怎样的烈火烹油、鲜花着锦呢?

5058 2
|
存储 缓存 监控
|

浅谈对象存储分布式缓存

从整体系统的架构上来考虑降低飞天盘古的请求压力,需要在对象存储业务前端系统服务层面去优化系统全局缓存,提高缓存的命中率。

5531 1
|
监控
|

H3C交换机配置信息中心将日志发送到日志服务器

H3C交换机配置信息中心将日志发送到日志服务器

2243 0
|
存储 数据采集 Kubernetes
|

文件存储CPFS最佳实践-轻舟智航

通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

1328 2
|
文件存储 Windows
|

阿里云文件系统NAS SMB如何修改根目录权限

阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。

1077 0
|
存储 数据采集 SQL
|

阿里云日志服务 SLS 全景体验

阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

1845 1
|
存储 数据采集 运维
|

简单、有效、全面的Kubernetes监控方案

近年来,Kubernetes作为众多公司云原生改造的首选容器化编排平台,越来越多的开发和运维工作都围绕Kubernetes展开,保证Kubernetes的稳定性和可用性是最基础的需求,而这其中最核心的就是如何有效地监控Kubernetes集群,保证整个集群的一个良好的可观察性。本期将为大家介绍Kubernetes的监控方案。

3842 0
|
分布式计算 Hadoop Java
|

在文件存储HDFS版上使用 TensorFlow

本文介绍如何在文件存储HDFS版上使用 TensorFlow。

1206 0
|
弹性计算 分布式计算 Hadoop
|

迁移开源HDFS数据到文件存储HDFS版

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS版。

844 0
|
存储 SQL 传感器
|

阿里可观测性数据引擎的技术实践

非常有幸参加了QCon上海站的可观测分会场,并和大家分享阿里在可观测性数据引擎的一些思考和技术实践,本文主要是对于分享的文字整理。

1990 1
|
运维 监控 数据可视化
|

阿里云服务网格ASM集成SLS告警

随着微服务的流行,微服务的架构也在不断的发展演进,Spring Cloud 与 Dubbo为代表的微服务开发框架也得到了普及和落地;在云原生时代,无侵入的服务网格(Service Mesh)开始走向成熟,相对于传统微服务架构,服务网格具有可观察性、流量控制、安全性三大优势。服务网格将之前服务治理中的复杂性从应用中分离出来,将这些复杂性放到了服务代理中,包括流量控制,断路,服务发现,安全性,可观测性等;开发时应用只需要关心业务功能实现,让责任划分变得更加清楚。

778 0
|
SQL 存储 Web App开发
|

日志服务Dashboard加速

阿里云日志服务致力于为用户提供统一的可观测性平台,同时支持日志、时序以及Trace数据的查询存储。用户可以基于收集到的各类数据构建统一的监控以及业务大盘,从而及时发现系统异常,感知业务趋势。但是随着收集到的数据量不断增长,特别是遇到业务峰值的时候,大盘报表展示会产生明显的延迟,无法及时查看重要数据。Scheduled SQL支持定时分析数据、存储聚合数据、投影与过滤数据,并将执行的分析结果存入用户指定的日志库或者时序库中,供用户后续分析使用。由于在聚合后数据量将大大小于之前,因而非常适合进行即时数据分析以及大盘展示。

781 0
|
存储 SQL 运维
|

【ESSD技术解读-03】阿里云块存储企业级特性之异步复制

在大数据时代,数据就是企业的核心资产,是企业的生命线。在现实世界中,灾难时有发生,当发生灾难时,容灾能力成为企业能否生存的关键。云上容灾服务,通常称为 DRaaS(灾难恢复即服务)不但能够省去自建容灾中心的开销,还能节省后续运维成本,帮助客户快速建立起跨地域的容灾方案,即买即用,随时释放的特性也为用户提供了极大的弹性。本文介绍了云上容灾产品形态,企业可结合自身特点选择合适的容灾方案,针对异步复制产品解析了传统容灾与云上容灾的技术架构。阿里云块存储也结合自身架构特点实现了块存储的异步复制产品。

1403 0
|
SQL 运维 监控
|

酷!在终端上使用命令行可视化分析日志

运维工程师在通过日志调查问题时,或者通过日志搭建监控系统时,不仅需要查看原始的日志内容,还需要把日志经多深度加工分析,例如计算每分钟的延时,每分钟的流量等等监控。这些数字指标,如果能够通过可视化的手段直观的展示出来,会更直观、有效的理解监控数据。今天我们介绍一种比较简洁、也比较酷的可视化方式,就是在终端上直接通过命令行可视化分析日志。

1164 136
|
SQL 存储 监控
|

基于Scheduled SQL的log4j日志异常事件过滤与分析

采用SLS提供的Scheduled SQL功能,对log4j ERROR日志进行处理并制作可视化报表

740 0
|
存储 弹性计算 监控
|

日志审计多帐号采集方案升级--资源目录集成

阿里云SLS日志服务集成阿里云资源目录服务,支持跨账号实时自动化、中心化采集阿里云产品日志。

598 0
|
监控 Linux
|

开放告警接入Zabbix

Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控,同时支持多种告警通知渠道。您可以将日志服务告警系统设为Zabbix的一个通知渠道,由日志服务告警系统完成告警降噪、通知等处理,并且通过包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道发送给用户。

1258 0
|
监控 开发工具
|

阿里云日志服务NetCore SDK Quick Start

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。本文主要演示如何在VS2019中安装及使用SLS NetCore SDK。

3282 0
|
存储 传感器 SQL
|

可观测系统存储分析最佳实践

分享在北京云峰会智能运维场的主题

1334 0
|
11月前
|
JSON API 数据库
|

手机空号检测API:接口技术详解

介绍号码有效性检测技术,涵盖空号识别原理、高并发架构设计及Python集成示例,助力企业提升电销、风控等场景的运营效率,降低无效号码带来的资源浪费。

1544 0
|
JSON 缓存 API
|

身份证二要素核验接口调用指南 —— Python 示例

本文介绍如何在 Python 中快速实现身份证二要素核验功能,适用于用户注册、金融风控等场景。通过阿里云市场提供的接口,可校验「姓名 + 身份证号」的一致性,并获取性别、生日、籍贯等信息。示例代码展示了从环境变量读取 APP_CODE、发送 GET 请求到解析 JSON 响应的完整流程。关键字段包括 code(1-一致,2-不一致,3-无记录)、msg 和 data。常见问题如 403 错误需检查 AppCode,超时则优化网络或设置重试机制。集成后可根据业务需求添加缓存、限流等功能提升性能。

1081 4
|
存储 弹性计算 监控
|

利用阿里云云产品进行项目成本节约的实践

本文分享了利用阿里云降低成本的实践经验,主要通过选择合适的计费模式(如按量付费、包年包月和抢占式实例)、优化资源配置(弹性伸缩、资源监控与调整、适配存储方案)、利用优惠和成本管理工具(预留实例券、成本预警、优惠活动)以及案例分析,实现云计算成本的有效控制。通过这些策略,企业在保证灵活性和扩展性的同时,能更好地管理云服务成本,提高项目经济效益。

1187 4
|
存储 人工智能 Cloud Native
|

再谈数据湖3.0:降本增效背后的创新原动力

越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时,数据湖的应用场景也在不断发展,各行各业都在云上构建数据湖,从一开始的简单分析,到互联网搜索推广和深度分析以及近两年大规模的AI训练,都是基于数据湖架构进行的。

13938 25
|
存储 数据采集 运维
|

阿里云日志服务SLS携手观测云发布可观测性解决方案,共建可观测应用创新

2022年云栖大会期间,阿里云同观测云共同发布可观测性联合解决方案。观测云通过集成日志服务SLS的产品能力,发布了观测云SAAS专属版。

1083 0
|
存储 运维 监控
|

Alibaba Cloud Lens 云产品可观测平台

Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。

2586 2
|
存储 JSON 运维
|

使用Terraform玩转SLS告警

Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具,“Write,Plan and Create Infrastructure as Code”,Terraform的命令行接口(CLI)提供了一种简单的机制,用于将配置文件部署到阿里云或者其他任意支持的云上,并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块;强大的功能当然也有自动化配置的需求,本文将介绍如何使用Terraform进行简单的配置,即可完成在无界面的告警配置。

1179 0
|
机器学习/深度学习 SQL 弹性计算
|

在SLS上进行异常点的绘制

对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点

1576 1
|
存储 监控 负载均衡
|

日志审计:多账号下ALB访问日志的自动化采集与监控

本文主要介绍在日志审计下如何开启ALB访问日志的自动化采集与监控

853 0
|
存储 监控 索引
|

SLS告警最佳实践——自定义分析告警历史

在SLS告警评估、触发到通知的整个生命周期过程中,都会有一些日志记录,通过这些日志我们可以借助告警对系统的整体健康状况、稳定性等有一个相对全面的了解。

871 0
|
SQL 数据采集 网络协议
|

MySQL数据库审计采集技术调研之Packetbeat,eBPF

在数据安全的重要性日益突出的今天,数据库审计是数据安全的重要组成部分。在数据库审计的过程中往往需要关注数据库操作行为和性能数据:需要知道数据库来源IP,数据库服务器IP/端口,数据库登录用户,操作数据库名称,表名称,SQL语句,执行时间和返回数据条数等。这些数据的获取在数据库内核实现无疑是最佳的方式,但是并非所有的数据库都支持审计插件。几乎所有的数据库都是C/S模式,客户端与数据库通过网络协议沟通,数据库的协议大部分也是公开的,所以一种更通用的数据库审计数据采集的方案,应该是通过“外围”的抓包方案,具体是通过分析网络协议来采集数据库的行为数据。

4237 0
|
存储 运维 Kubernetes
|

SLS告警最佳实践—— K8s事件中心告警管理

K8S事件中心是SLS的日志应用之一,主要记录了集群的状态变更,包括创建Pod、运行Pod、删除Pod、组件异常等。K8S事件中心实时收集K8S中的所有事件并提供存储、查询、分析、可视化与告警能力。K8s事件中心默认也会提供仪表盘和告警,本文主要介绍下如何在ACK控制台和SLS控制台管理K8s事件中心的告警及其区别和使用场景。

1672 0
|
消息中间件 数据采集 JSON
|

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

1369 0
|
SQL 分布式计算 Hadoop
|

在文件存储HDFS版上使用 Presto

本文档主要介绍在文件存储HDFS版上搭建及使用 Presto。

966 0
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache HBase

本文档主要介绍在文件存储HDFS版上使用 Apache HBase 的方法。

420 0
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache Flink

本文档主要介绍如何在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Flink。

759 0
|
存储 SQL 监控
|

PolarDB Lens低调发布:洞悉百TB级云原生数据库

PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库,阿里云日志服务PolarDB Lens围绕其提供了一站式的数据库资产概览、日志采集管理、分析和场景应用落地支持,本文介绍了PolarDB和PolarDB Lens的基本特性,并通过性能实验使读者对PolarDB Lens的功能有一个直观的认知。

1350 2
|
JSON 监控 机器人
|

详解Splunk新版模拟器SimData

SimData是一种从用户定义的模拟场景中生成模拟数据的工具。SimData不是简单地使用数据样本集来生成重复的模拟数据,而是通过模拟多个系统如何协同工作并互相影响,让用户依据现实世界的情况生成丰富而强大的事件集。具体来讲,SimData通过使具有强大表达能力的简单描述语言(Simple Description Language)来定义模拟逻辑,具有灵活、强大的建模能力。通过将模拟对象建模为实体,并支持模拟实体之间的简单和复杂交互,可以模拟复杂的现实场景。

908 0
|
存储 SQL 运维
|

SLS告警的分组评估最佳实践

监控系统一般包括监控目标(监控实体),监控条件,告警通知,自动修复等系模块,SLS作为云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务;SLS也提供了丰富的监控告警功能,可以针对在日志/时序/Trace数据中进行配置异常告警,比如在Nginx日志中500错误过多,主机时序数据中CPU超过90%需要告警,在告警发出时,往往需要对问题发生的原因进行追溯,需要知道哪些实体在出现了异常,比如哪个域名500错误过多,哪台主机CPU过高等。本文将介绍通过SLS告警监控中的分组评估功能找出异常的实体。

888 0
|
存储 SQL 运维
|

基于ScheduledSQL实现K8S集群指标预计算

随着云原生的普及,各家公司都通过K8S实现了服务的容器化,极大的简化了开发运维人员的工作,是目前最为常用的基础服务。同时,K8S集群中的各项基础服务能够通过metrics接口导出Prometheus格式的多种指标,方便观察当前系统状态,及时发现问题。用户将K8S集群指标采集到日志服务SLS时序存储之后,可以随时查看系统历史及当前指标,还可以通过SLS内置仪表盘或者Grafana构建监控大盘,方便观察系统情况。但是随着系统规模以及负载成倍增加,复杂的指标查询以及监控大盘的渲染开始变慢,进而影响操作体验。

552 0
|
SQL 存储 监控
|

ScheduledSQL告警配置

为了方便用户观察Scheduled SQL任务的执行情况,日志服务为Scheduled SQL增加了告警功能,本文主要向用户介绍如何开启Scheduled SQL告警,以及追踪任务的执行情况,方便用户及时发现异常情况。

545 0
|
网络协议 Linux 文件存储
|

NAS SMB ACL自动配置自动检查脚本

NAS SMB ACL的系列文章详细叙述了如何安装并启用AD域服务与DNS服务,将阿里云SMB协议文件系统挂载点接入AD域,将Windows客户端加入AD域,Windows客户端以AD域用户身份挂载并使用阿里云SMB协议文件系统。 即便我们提供了多篇文章尽力描述清楚整个NAS SMB ACL的配置步骤,但是复杂的流程仍然给用户造成了困扰。为了让配置更加简单,我们开发了NAS SMB ACL自动配置和自动检查脚本,将复杂的步骤尽量压缩在数个Powershell命令中。 注意:该Powershell每次运行一条修改命令,会弹出确认框,需要手动确认要执行的命令。

697 0
|
存储 弹性计算 负载均衡
|

使用Terraform玩转SLS日志审计自动化部署

Terraform是一种开源工具,用于安全高效地预览,配置和管理云基础架构和资源。阿里云的terraform-provider-alicloud目前已经提供了超过 163 个 Resource 和 113 个 Data Source,覆盖计算,存储,网络,负载均衡,CDN,容器服务,中间件,访问控制,数据库等超过35款产品。 本文主要介绍如何使用Terraform自动化部署阿里云日志服务下的日志审计服务。

1041 0
|
存储 关系型数据库 MySQL
|

SLS数据加工——动态解析与分发日志实战

阿里云日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。本文为读者带来了数据加工动态解析与分发的最佳实践。

1178 0
|
机器学习/深度学习 数据采集 SQL
|

AIOps:自适应机器学习异常检测

以下内容来自【2021阿里云开发者大会】中的内容分享,本次分享的题目是《AIOps:自适应机器学习异常检测》,该分享意在阐述机器学习算法在企业中的落地实践,通过算法和算力尽可能的提升企业运维人员的效率,为业务的快速发展保驾护航。

2681 0
|
运维 监控
|

SLS新版本告警入门——用户、用户组及值班组

在之前的告警中,如果想要发送通知给某个用户,那么需要配置该用户的手机号或者邮箱。如果有多个告警都需要发送给同一个用户,就需要多次配置手机号和邮箱。假如告警要发给多个人,那么就要配置多个用户的手机号和邮箱。这就存在着诸多痛点。基于以上痛点,在新版本的告警中,加入了用户和用户组的管理,并且在此基础上添加了值班组,从而可以非常方便地进行用户的管理,还能够实现高级的值班功能。

865 0
|
存储 人工智能 数据管理
|

预约报名|RAG实践营——智能数据管理专题沙龙·成都站

立即报名,抢占现场参会名额,与各位大咖面对面探讨技术创新与应用模式!

373 10
我要发布