开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
296
内容
0
活动
67
关注
|
数据采集 监控
|

万界星空科技QMS质量管理系统

QMS(Quality Management System)质量管理系统是五大基础系统之一,在工业企业中被广泛的应用,在质量策划、生产过程质量监督、体系审核和文档管理等业务上发挥着不可替代的作用。

1466 1
|
存储 运维 监控
|

一键式开启:IDaaS日志接入SLS日志审计发布

本文主要介绍IDaaS EIAM两种日志(管理操作+用户行为)接入SLS日志审计的最佳实践

686 0
|
存储 SQL 数据采集
|

通过定时SQL提取阿里云API网关访问日志指标

阿里云API网关服务提供API托管服务,提供了强大的适配和集成能力,可以将各种不同的业务系统API实现统一管理。API网关同时支持将API访问日志一键存储到日志服务,通过日志服务强大的查询分析能力,用户可以针对访问日志自定义计算多种指标,监测服务运行情况。继而通过定时SQL将结果指标直接存储到时序库,直接查询API网关指标,而且可以通过较低成本长期存储指标数据。 下面我们一步步从头开始,学习如何利用日志服务监测API网关及其代理的服务。

950 0
|
存储 监控 索引
|

SLS告警最佳实践——自定义分析告警历史

在SLS告警评估、触发到通知的整个生命周期过程中,都会有一些日志记录,通过这些日志我们可以借助告警对系统的整体健康状况、稳定性等有一个相对全面的了解。

961 0
|
SQL 数据采集 网络协议
|

MySQL数据库审计采集技术调研之Packetbeat,eBPF

在数据安全的重要性日益突出的今天,数据库审计是数据安全的重要组成部分。在数据库审计的过程中往往需要关注数据库操作行为和性能数据:需要知道数据库来源IP,数据库服务器IP/端口,数据库登录用户,操作数据库名称,表名称,SQL语句,执行时间和返回数据条数等。这些数据的获取在数据库内核实现无疑是最佳的方式,但是并非所有的数据库都支持审计插件。几乎所有的数据库都是C/S模式,客户端与数据库通过网络协议沟通,数据库的协议大部分也是公开的,所以一种更通用的数据库审计数据采集的方案,应该是通过“外围”的抓包方案,具体是通过分析网络协议来采集数据库的行为数据。

4336 0
|
Kubernetes 监控 开发工具
|

iLogtail使用入门-K8S环境日志采集到SLS

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正式开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在K8S环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

2917 1
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1341 0
|
存储 数据采集 弹性计算
|

块存储监控与服务压测调优利器-EBS Lens发布

SLS团队联合EBS团队发布了EBS Lens,针对块存储提供数据分析、资源监控的功能,可以帮助用户获取云上块存储资源信息与性能监控数据、提升云上块存储资源的管理效率、高效分析业务波动与资源性能消耗情况。

2243 0
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

1009 0
|
弹性计算 JSON 监控
|

日志服务SLS开放告警接入云监控

阿里云的云监控服务用于监控阿里云资源和互联网应用,包括阈值告警和事件告警两种模式,支持配置多种告警通知渠道。您可以将日志服务开放告警配置为其中一个通知渠道,从而由日志服务告警系统完成告警降噪、静默等处理,并且接入包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道。

1274 0
|
JSON API 数据格式
|

银行卡联行号查询API:在风控中的落实践

银行卡联行号查询API,基于HTTPS协议,支持Token认证与跨域调用,提供精准高效的银行信息查询服务,助力支付系统提升成功率与稳定性。

1295 0
|
消息中间件 缓存 监控
|

如何利用运营商在网状态查询API进行有效的筛选电话号码?实践指南

在电话营销、客服、风控等场景中,企业常需确认手机号是否可接通。传统方式效率低、风险高,本文介绍一种通过调用探数API实时验证手机号状态的轻量方案,提升外呼效率,降低沟通成本。

1095 0
|
JSON API UED
|

运营商二要素验证 API:核验身份的一致性技术实践(Python示例)

随着线上业务快速发展,远程身份核验需求激增。运营商二要素验证API通过对接三大运营商实名数据,实现姓名、手机号、身份证号的一致性校验,具备权威性高、实时性强的优势,广泛应用于金融、电商、政务等领域。该接口支持高并发、低延迟调用,结合Python示例可快速集成,有效提升身份认证的安全性与效率。

1239 0
|
存储 负载均衡 Java
|

如何配置Windows主机MPIO多路径访问存储系统

Windows主机多路径(MPIO)是一种技术,用于在客户端计算机上配置多个路径到存储设备,以提高数据访问的可靠性和性能。本文以Windows2012 R2版本为例介绍如何在客户端主机和存储系统配置多路径访问。

1283 13
|
缓存 Linux Windows
|

初识Linux操作系统(根目录下的重要文件)(命令提示符的含义)

Linux系统基于"一切皆文件"的理念,重要文件分布在如/root(root用户目录)、/home(普通用户目录)、/etc(应用配置)、/dev(设备文件)、/boot(内核及启动文件)、/proc(动态系统信息)、/lib64(库文件)、/opt(软件存放)、/tmp(临时文件)。"[root@localhost ~]#"代表管理员在root目录,"$"代表普通用户。创建新用户用`useradd`命令。调节终端字体大小:Ctrl+Shift++增大,Ctrl+减号缩小。绝对路径从根目录开始,相对路径从当前目录开始。

728 1
|
存储 机器学习/深度学习 人工智能
|

AIGC训练场景下的存储特征研究

在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

1846 4
|
canal 存储 SQL
|

MySQL数据库同步CDC方案调研

数据库同步是一个比较常见的需求,业务数据一般存储在一致性要求比较高的OLTP数据库中,在分析场景中往往需要OLAP数据库或者比较火的数据湖方案;CDC是数据库同步较为流行的方案,全称是Change Data Capture,主要用于捕捉数据库中变化的数据,然后根据变化的数据写入不同的目标存储。接下来是一些数据库CDC方案的调研及原理探讨,调研方案基于MySQL数据库。

4409 0
|
JSON 应用服务中间件 数据处理
|

SLS告警最佳实践——在通知中引用日志内容

在配置告警通知的时候,通常我们需要知道告警的触发详情。例如Nginx访问错误告警,我们需要知道错误的HTTP Status 分布,错误的机器IP等信息,并且需要将这些信息体现在通知中,以便在接收到告警通知后,能够一目了然地知道发生了什么事情。那么在创建告警规则的时候,我们就需要进行合理的配置,使得告警在触发后,可以将这些信息放在合适的位置发送给通知服务,从而在通知模板里可以被引用到,从而被正确地通知。

928 0
|
机器学习/深度学习 运维 自然语言处理
|

抑制告警风暴—SLS告警智能合并发布

SLS最新推出了告警智能合并能力,让用户只需一些极简的配置,便可开启告警的智能降噪,抑制告警风暴。

2214 1
|
存储 SQL 运维
|

基于ScheduledSQL实现K8S集群指标预计算

随着云原生的普及,各家公司都通过K8S实现了服务的容器化,极大的简化了开发运维人员的工作,是目前最为常用的基础服务。同时,K8S集群中的各项基础服务能够通过metrics接口导出Prometheus格式的多种指标,方便观察当前系统状态,及时发现问题。用户将K8S集群指标采集到日志服务SLS时序存储之后,可以随时查看系统历史及当前指标,还可以通过SLS内置仪表盘或者Grafana构建监控大盘,方便观察系统情况。但是随着系统规模以及负载成倍增加,复杂的指标查询以及监控大盘的渲染开始变慢,进而影响操作体验。

624 0
|
存储 设计模式 消息中间件
|

Jaeger插件开发及背后的思考

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法,让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持,欢迎大家试用。

1366 0
|
Prometheus 监控 Cloud Native
|

5分钟搞定AlertManager接入短信、语音等10+种通知渠道

Alert Manager是开源监控系统Prometheus中用于处理告警信息的服务,通过将日志服务开放告警配置为Alert Manager中的一个Receiver,可以将Alert Manager产生的告警消息发送到日志服务。

4495 0
|
数据采集 移动开发 弹性计算
|

日志审计携手DDoS防护助力云上安全

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

963 0
|
JSON 安全 API
|

人车关系核验 API:核验一致性的Python调用指南

在现代交通管理中,“人车不符”“证照分离”等问题频发,影响监管与安全。为此,基于多源数据的人车关系核验API应运而生,提供实时身份一致性验证,支撑智慧交通建设。

621 0
|
人工智能 安全 API
|

身份验证API的实战指南(Python & PHP 示例)

本文介绍了基于身份证信息的实名认证API,适用于金融、电商、政务、医疗等领域的身份核验场景。内容包含Python与PHP调用示例及返回结果解析,助力开发者快速集成安全合规的身份验证功能。

902 0
|
存储 IDE 开发工具
|

磁盘的物理组成

本文介绍了磁盘的物理组成和如何新增磁盘。磁盘主要由主轴、磁盘盘、磁头和磁头臂组成,其中磁道、簇、扇面和扇区是磁盘的基本存储单元。新增磁盘的步骤包括关闭操作系统、选择磁盘类型和容量、创建新虚拟磁盘并完成配置。常见的磁盘接口类型有IDE、SCSI、SATA和SAS。

893 1
|
存储 API PHP
|

兰空图床Typecho上传插件LskyPluginTypechoV2安装及使用教程

【10月更文挑战第1天】本插件基于isYangs、泽泽站长、兔子君、冷寂等前辈的作品,适用于Typecho。教程包括获取API Token、设置插件及上传图片等步骤。

1441 0
|
安全 网络安全 区块链
|

勒索病毒利如刀,上网备好技能包

网络安全已不是小说电影中遥远的黑客、间谍与烧脑幻想,而是关系到每一个人的切身利益。勒索病毒作为近年来黑客组织牟取暴利的绝佳手段,也是发展最快的网络安全威胁之一。

62684 9
|
数据采集 中间件 Shell
|

一文了解常见的Python爬虫框架Scrapy

爬虫框架:Scrapy

2137 1
|
存储 消息中间件 分布式计算
|

容器持久化存储-容器有状态应用调研报告

容器持久化存储-容器有状态应用调研报告

52474 5
|
存储 人工智能 Cloud Native
|

再谈数据湖3.0:降本增效背后的创新原动力

越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时,数据湖的应用场景也在不断发展,各行各业都在云上构建数据湖,从一开始的简单分析,到互联网搜索推广和深度分析以及近两年大规模的AI训练,都是基于数据湖架构进行的。

14020 25
|
存储 数据采集 人工智能
|

用积木讲运维,这样的IT人太会了

日志服务SLS提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。

784 0
|
存储 运维 监控
|

Alibaba Cloud Lens 云产品可观测平台

Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。

2680 2
|
消息中间件 Kubernetes 监控
|

通用数据库审计K8s部署实践

通用数据库审计是日志服务提供的一种轻量级、低成本数据库安全方案,在之前的文章《自建数据库没有审计方案?试试这套轻量级低成本方案》中介绍了通过部署Logtail和Packetbeat在应用服务器或者数据库服务器上的方法抓取数据库操作行为流量,从而实现数据库审计数据的采集。日志服务提供了开箱即用的审计报表和告警配置。 随着云原生技术的成熟,越来越多的应用部署在云原生环境,云原生环境的动态及灵活性给抓包工具带来了一些困难,本文主要介绍在K8s环境下如何部署这套轻量级、低成本审计方案。

1037 0
|
存储 监控 关系型数据库
|

日志审计:开启RDS/PolarDB错误日志采集

本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

1028 0
|
SQL 运维 监控
|

零基础玩转SLS日志分析 - SLS Data Explorer发布

为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。

1949 0
|
存储 数据采集 运维
|

简单、有效、全面的Kubernetes监控方案

近年来,Kubernetes作为众多公司云原生改造的首选容器化编排平台,越来越多的开发和运维工作都围绕Kubernetes展开,保证Kubernetes的稳定性和可用性是最基础的需求,而这其中最核心的就是如何有效地监控Kubernetes集群,保证整个集群的一个良好的可观察性。本期将为大家介绍Kubernetes的监控方案。

3960 0
|
存储 运维 Kubernetes
|

SLS告警最佳实践—— K8s事件中心告警管理

K8S事件中心是SLS的日志应用之一,主要记录了集群的状态变更,包括创建Pod、运行Pod、删除Pod、组件异常等。K8S事件中心实时收集K8S中的所有事件并提供存储、查询、分析、可视化与告警能力。K8s事件中心默认也会提供仪表盘和告警,本文主要介绍下如何在ACK控制台和SLS控制台管理K8s事件中心的告警及其区别和使用场景。

1763 0
|
存储 SQL 监控
|

PolarDB Lens低调发布:洞悉百TB级云原生数据库

PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库,阿里云日志服务PolarDB Lens围绕其提供了一站式的数据库资产概览、日志采集管理、分析和场景应用落地支持,本文介绍了PolarDB和PolarDB Lens的基本特性,并通过性能实验使读者对PolarDB Lens的功能有一个直观的认知。

1447 2
|
存储 运维 监控
|

Redis Lens 隆重推出:轻松直观的洞察Redis状态

Redis Lens提供集中式Redis实例资产视图,可方便快捷获取数据库的运行日志、慢日志以及审计日志的监控与分析

517 0
|
SQL 消息中间件 数据采集
|

Trace告警配置最佳实践

阿里云日志服务(SLS)提供了Log,Metric,Trace等三种数据快速接入的能力,同时也提供了丰富的分析功能和可定制化的Dashboard的能力,客户可以利用SLS快速的搭建可观测性平台,让用户更加关注于分析,降低用户接入各类数据的门槛。本文主要讲述应用接入SLS Trace服务后,针对各种场景化如何配置告警。

1555 0
|
JSON 监控 机器人
|

详解Splunk新版模拟器SimData

SimData是一种从用户定义的模拟场景中生成模拟数据的工具。SimData不是简单地使用数据样本集来生成重复的模拟数据,而是通过模拟多个系统如何协同工作并互相影响,让用户依据现实世界的情况生成丰富而强大的事件集。具体来讲,SimData通过使具有强大表达能力的简单描述语言(Simple Description Language)来定义模拟逻辑,具有灵活、强大的建模能力。通过将模拟对象建模为实体,并支持模拟实体之间的简单和复杂交互,可以模拟复杂的现实场景。

1005 0
|
存储 SQL 运维
|

【ESSD技术解读-03】阿里云块存储企业级特性之异步复制

在大数据时代,数据就是企业的核心资产,是企业的生命线。在现实世界中,灾难时有发生,当发生灾难时,容灾能力成为企业能否生存的关键。云上容灾服务,通常称为 DRaaS(灾难恢复即服务)不但能够省去自建容灾中心的开销,还能节省后续运维成本,帮助客户快速建立起跨地域的容灾方案,即买即用,随时释放的特性也为用户提供了极大的弹性。本文介绍了云上容灾产品形态,企业可结合自身特点选择合适的容灾方案,针对异步复制产品解析了传统容灾与云上容灾的技术架构。阿里云块存储也结合自身架构特点实现了块存储的异步复制产品。

1506 0
|
存储 机器学习/深度学习 运维
|

【CDS技术揭秘系列 02】阿里云CDS-SLS大揭秘

CDS-SLS 作为云化的日志平台,将组件进行高内聚低耦合,线下用户最低可以在6台规模的机器上将上述所有的功能自动化部署,在运维、运营、财务管理、数据分析报表等大数据场景领域以低代码模式有效解决传统软件中的痛点。本文主要进行 CDS-SLS 各功能点概览性的介绍。

2372 0
|
存储 SQL 机器学习/深度学习
|

基于SLS平台与日志审计构建Cloud SIEM方案

本文介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

2440 0
|
监控 数据可视化 测试技术
|

SLS新版告警入门——告警管理编排交互

在之前的告警策略和行动策略相关的文章中,我们可以看到,为了配置各种策略逻辑,使用的都是类似的交互方式,即基于可视化图的表单。本文主要来介绍一下策略图相关的交互和配置。

778 0
|
存储 SQL 监控
|

SLS新版告警自助排查系列之告警监控

在SLS告警中,告警监控通过对数据源的查询监控,然后产生告警,并将告警发送到告警管理,告警管理会对告警进行降噪处理包括合并抑制静默后,在将告警发送给行动管理,最终发送通知到用户配置的接收渠道。在整个过程中,告警监控作为告警的源头,决定着告警是否能准确的发出。在配置告警监控规则时,配置不当或者配置错误都会导致告警不能触发或者不是希望的触发。本文主要介绍在告警监控中如何进行自助排查问题。

1269 0
|
7月前
|
存储 监控 NoSQL
|

阿里云 Tablestore 基于 Mem0 为 OpenClaw 构建记忆系统最佳实践

云托管、数据自主、智能记忆抽取!阿里云 Tablestore 基于 mem0,为 OpenClaw “龙虾”提供跨 Session、跨 Agent,记忆持久生效的智能记忆系统。

1825 5
|
API Python
|

VIN码查询API的实战指南:获取二手车信息以Python为例

随着机动车保有量上升,中国二手车市场迎来发展机遇。本文介绍如何通过VIN码查询API获取车辆详细信息,提升交易透明度与安全性。

628 1
我要发布