开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
276
内容
0
活动
66
关注
|
存储 监控 Cloud Native
|

使用SDK管理SLS告警-以Go为例

除了在SLS控制台创建告警监控以外,SLS的SDK也提供了对告警的管理功能,其中主要包括了初始化告警资源,告警监控规则的增删改查,告警资源的增删改查等功能。

2058 0
|
消息中间件 NoSQL Cloud Native
|

对Confluent一些解读

对Kafka母公司Confluent IPO、产品、技术一些看法

6444 0
|
28天前
|
存储 运维 数据管理
|

告别“大海捞针”:OSS Vector Bucket 如何赋能媒资管理平台

在 AI 时代,媒资平台面临多模态数据爆炸式增长的管理挑战。阿里云 OSS Vector Bucket 提供统一向量存储与语义检索能力,支持 30 亿级素材秒级精准查找,打破数据孤岛,降低成本,助力内容创作提效降本。

235 11
|
11月前
|
JSON Prometheus Cloud Native
|

全国空气质量查询API:让空气质量数据成为智慧生活的基石(含Python接入指南)

本文介绍空气质量数据服务的技术价值与接口架构,涵盖全国监测网络现状、API功能及技术指标,提供基于Python的快速接入示例,并展示在环境监测、智慧城市等场景中的应用潜力。

968 0
|
11月前
|
JSON API 数据格式
|

银行卡联行号查询API:在风控中的落实践

银行卡联行号查询API,基于HTTPS协议,支持Token认证与跨域调用,提供精准高效的银行信息查询服务,助力支付系统提升成功率与稳定性。

1135 0
|
12月前
|
JSON API UED
|

运营商二要素验证 API:核验身份的一致性技术实践(Python示例)

随着线上业务快速发展,远程身份核验需求激增。运营商二要素验证API通过对接三大运营商实名数据,实现姓名、手机号、身份证号的一致性校验,具备权威性高、实时性强的优势,广泛应用于金融、电商、政务等领域。该接口支持高并发、低延迟调用,结合Python示例可快速集成,有效提升身份认证的安全性与效率。

1095 0
|
API Python
|

VIN码查询API的实战指南:获取二手车信息以Python为例

随着机动车保有量上升,中国二手车市场迎来发展机遇。本文介绍如何通过VIN码查询API获取车辆详细信息,提升交易透明度与安全性。

510 1
|
Ubuntu 文件存储 数据安全/隐私保护
|

电视盒子部署云相册

【10月更文挑战第2天】 利用电视盒子实现个人云相册,完成手机相册瘦身,以及数据安全保存,最小成本实现个人云部署

1328 1
|
存储 测试技术 Linux
|

存储稳定性测试与数据一致性校验工具和系统

LBA tools are very useful for testing Storage stability and verifying DATA consistency, there are much better than FIO & vdbench's verifying functions.

1875 0
|
存储 运维 监控
|

深入解读等保2.0

本文主要介绍等保2.0的由来,等保2.0和1.0的区别,企业过等保的具体流程,手把手教你从等保小白变身等保专家。

4741 1
|
Prometheus 监控 Cloud Native
|

5分钟搞定AlertManager接入短信、语音等10+种通知渠道

Alert Manager是开源监控系统Prometheus中用于处理告警信息的服务,通过将日志服务开放告警配置为Alert Manager中的一个Receiver,可以将Alert Manager产生的告警消息发送到日志服务。

4335 0
|
数据采集 移动开发 弹性计算
|

日志审计携手DDoS防护助力云上安全

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

858 0
|
12月前
|
JSON API 数据安全/隐私保护
|

车辆五项信息查询 API 的实践指南:通过Python调用赋能车辆信息标准化

本API通过车牌号快速获取车辆五项核心信息,包括品牌、登记日期、车架号等,助力二手车评估、维修、保险等场景实现数字化转型。数据源自权威公安交管库,日更同步,毫秒级响应,满足高并发需求,符合隐私保护规范,是推动汽车后市场智能化的重要工具。

796 0
|
JSON API UED
|

快递查询 API 对接指南(Python示例)

在电商与物流快速发展背景下,实时快递查询成为系统开发常见需求。本文介绍如何通过快递查询API快速集成物流信息,提升自动化水平与用户体验,并提供Python调用示例及问题解决方案。

980 0
|
存储 运维
|

聚焦移动互联网,传易将好音乐带给非洲用户

传易音乐借助阿里云数据湖、多媒体数据存储等解决方案,获得了PB级容量及超百Gb的带宽吞吐能力。

1841 1
|
存储 弹性计算 运维
|

不仅有0.0075元的深度冷归档,更有对下一代云存储的重新定义

阿里云存储的创新活力,不仅拓展了云存储的边界,更为客户如何挖掘数据无限价值方面,带来了更多的可能。11月4日,阿里巴巴集团高级研究员、阿里云智能存储产品线总经理吴结生,在云栖大会上做了《重新定义云存储,释放数据无限价值》的主题分享。

15424 0
|
存储 JSON 运维
|

聊聊日志硬扫描,阿里 Log Scan 的设计与实践

SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。

14567 9
|
存储 数据采集 人工智能
|

以Trace为核心的根因分析概述

近期一直在学习和复现“根因分析”领域的相关文章,在这里跟大家一起分享下相关内容。这里不在赘述关于“可观测性”和“AIOps”的重要性和必要性,也不过多的陈述在“复杂系统”中进行快速根因诊断的必要性,直接进入到相关算法和系统设计部分。

2860 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 Apache Tez

本文档主要介绍在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Tez。

765 0
|
存储 弹性计算 分布式计算
|

文件存储HDFS版和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

1062 0
|
运维 监控 安全
|

SLS告警通知体验升级——移动端免登查看与操作

SLS告警通知体验重磅升级,支持了移动端免登陆的能力,从而可以随时随地在手机上查看告警信息并进行后续的管理,提升运维效率。

793 0
|
存储 SQL 人工智能
|

MySQL监控-Datadog数据库监控调研

MySQL是最流行的数据库之一,在大多系统的后端的存储都有MySQL的身影,MySQL运行的是否健康,直接影响着整个系统的运行,数据库的瓶颈往往也是整个系统的瓶颈,其重要性不言而喻,所以对于MySQL的监控必不可少,及时发现MySQL运行中的异常,可以有效提高系统的可用性和用户体验。 本文主要介绍下MySQL如何做监控,以及对Datadog的Database Monitoring的一些简单调研。

1842 0
|
存储 Oracle 关系型数据库
|

【ESSD技术解读-02】企业级利器,阿里云 NVMe 盘和共享存储

当前 NVMe 云盘结合了业界最先进的软硬件技术,在云存储市场,首创性同时实现了 NVMe 协议 + 共享访问 + IO Fencing 技术。它在 ESSD 之上获得了高可靠、高可用、高性能,同时基于 NVMe 协议实现了丰富的企业特性,如多重挂载、IO Fencing、加密、离线扩容、原生快照、异步复制等功能。本文详细介绍了云上SAN和NVMe的发展历程,并做出了对未来的构想

3037 0
|
存储 SQL 弹性计算
|

微信也能看账单——SLS成本管家新增微信订阅渠道

阿里云用户使用云资源的同时,成本是个不容忽视的问题。阿里云的计费方式有按量付费和包年包月。对于按量付费方式,手工对账单进行统计分析不仅耗费时间和精力,准确性也没办法保证。 阿里云日志服务的成本管家功能很好的解决了这个问题,将用户从低效的账单获取和整理工作中解放出来,提高账单分析效率。

1099 0
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

926 0
|
28天前
|
存储 人工智能 前端开发
|

为了 Vibe Coding 地图更方便,我给 WeaveFox 造了一个轮子

开发者基于WeaveFox Vibe Coding打造合规高德地图React组件库amapcn,支持shadcn分发、NPM包及AI Skill集成,内置15+地图能力组件。同步开源并上架WeaveFox技能市场,3天快速构建全栈地图应用,免费部署上线。

311 119
|
4月前
|
存储 监控 NoSQL
|

阿里云 Tablestore 基于 Mem0 为 OpenClaw 构建记忆系统最佳实践

云托管、数据自主、智能记忆抽取!阿里云 Tablestore 基于 mem0,为 OpenClaw “龙虾”提供跨 Session、跨 Agent,记忆持久生效的智能记忆系统。

1594 5
|
9月前
|
缓存 边缘计算 运维
|

基于 Cloudflare Workers 构建高性能知识库镜像服务:反向代理与 HTML 动态重写实践

基于Cloudflare Workers构建的边缘计算镜像服务,通过反向代理、HTML动态重写与智能缓存,优化维基百科等知识平台的访问性能。支持路径映射、安全头清理与容错回退,实现免运维、低延迟、高可用的Web加速方案,适用于教育、科研等合规场景。

1401 8
|
11月前
|
安全 算法 API
|

银行卡三要素API实践指南:实现交易安全闭环

在数字化金融时代,身份真实性成为安全防线关键。银行卡三要素核验通过验证卡号、姓名与身份证一致性,提升身份识别准确率,广泛应用于金融、支付等领域。本文详解其技术原理、架构设计与工程实践,助力构建安全合规的身份认证体系。

912 1
|
存储 负载均衡 Java
|

如何配置Windows主机MPIO多路径访问存储系统

Windows主机多路径(MPIO)是一种技术,用于在客户端计算机上配置多个路径到存储设备,以提高数据访问的可靠性和性能。本文以Windows2012 R2版本为例介绍如何在客户端主机和存储系统配置多路径访问。

1136 13
|
文件存储 网络架构 Docker
|

NAS部署Alist、Nextcloud、File Browser,贝锐花生壳实现远程访问

对于NAS用户而言,文件管理和私有云应用如Alist、Nextcloud、File Browser等已成为标配。这些应用不仅能在Synology、QNAP等品牌设备上轻松安装,还可通过Docker容器便捷部署。借助贝锐花生壳Docker版,用户无需公网IP和复杂路由器配置,即可实现远程访问和管理文件资源。通过下载并加载贝锐花生壳镜像、启动容器及配置服务,即可生成固定访问域名,轻松实现远程访问。

1253 4
|
存储 测试技术 区块链
|

阿里云、百度云及移动云对象存储横向性能对比测试

在企业的数字化转型进程中,我们观察到越来越多的公司将其IT基础设施迁移到云端。随着企业业务的持续运营,无论是储存、处理、分享还是删除,都会产生大量的数据,这就要求有一个既可靠又高效的系统来管理和存储这些信息。对象存储产品在这个场景中扮演了至关重要的角色。它们以一种可扩展、安全、持久的方式,有效地满足了对大规模非结构化数据存储的需求。 尽管市场上云计算提供商众多,各自都有自己独特的对象存储产品,面对这样的丰富选择,如何寻找最符合企业需求的产品呢?这正是企业今天寻求解答的问题。 在本篇文章中,我们将深入进行一项横向对比测试,专门对阿里云OSS、百度云BOS和移动云EOS这三大云服务提供商的对象

4146 0
|
SQL 存储 机器学习/深度学习
|

2022年AIOps热身赛数据可视化详解

本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。

3634 2
|
SQL 机器学习/深度学习 存储
|

通过日志服务实现数据库MySQL入湖OSS实践

日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。 本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践,并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。

1143 0
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1241 0
|
存储 SQL 数据采集
|

可观测性平台下的低代码技术实践——PyCon2021分享

本文介绍阿里云SLS丁来强(花名成喆)在PyCon2021上海站分享时的议题内容,结尾有录播的视频和PPT下载链接。

882 0
|
存储 运维 NoSQL
|

阿里云表格存储全面升级,打造一站式物联网存储新方案

阿里云表格存储全面升级,打造一站式物联网存储新方案

828 17
|
存储 设计模式 消息中间件
|

Jaeger插件开发及背后的思考

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法,让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持,欢迎大家试用。

1263 0
|
机器学习/深度学习 运维 监控
|

使用SLS告警为你的OSS保驾护航

SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。

1105 0
|
安全 测试技术 API
|

API 测试是什么?如何进行 API 测试?

在互联网时代,API已成为软件间交互的关键。API测试验证API是否按预期工作,通过检查响应来确保其正确性、可靠性和安全性。与UI测试不同,API测试聚焦底层功能,有助于早期发现并修复缺陷。它能验证软件质量、加速开发周期、促进微服务架构并支持持续集成/交付。常见的测试类型包括单元测试、功能测试、集成测试、性能测试、安全测试及回归测试。使用自动化工具如Apifox能提高测试效率,支持可视化编排、零代码配置流程条件、生成详细测试报告及快速性能测试,从而确保API质量并提升用户体验。

1926 0
|
存储 前端开发 应用服务中间件
|

阿里云对象存储服务OSS前后联调

阿里云对象存储服务OSS前后联调

1451 0
|
存储 SQL NoSQL
|

表格存储 Tablestore 十年发展总结

这篇文章接下来会先整体介绍下表格存储 Tablestore,之后会分享下在技术层面产品这几年的功能演进、技术架构演进以及稳定性优化相关的工作,以及在业务层面我们定义的核心应用场景和一些典型案例。

67616 7
|
弹性计算 运维 网络安全
|

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

811 1
|
存储 数据采集 消息中间件
|

阿里十年技术沉淀|深度解析百PB级数据总线技术

数据总线作为大数据架构下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。通过数据总线,可以实时接入来自服务器、K8s、APP、Web、IoT/移动端等产生的各类异构数据,进行统一数据管理,进而实现与下游系统的解耦;之后可以异步实现数据清洗、数据分发、实时计算、离线计算等计算过程,进而将结构化后的数据投递到下游的分析、归档系统,进而达到构建清晰的数据流的目的。广义上,数据采集与接入、传输链路、存储队列、消费计算、投递等都属于数据总线的范畴,整体上可以分为采集接入层、管道层、计算层。

25237 6
|
弹性计算 监控 Kubernetes
|

iLogtail使用入门-主机环境日志采集到SLS

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

2420 0
|
存储 运维 监控
|

从日志审计角度解读网络数据时代新安全

本文主要从日志审计的角度解读《网络安全法》、《数据安全法》、《等保2.0》等,介绍新数字经济时代,企业用户应如何加强网络安全管理和数据安全治理,全方位地守护企业云上资产及数据安全。

2025 0
|
存储 SQL Prometheus
|

基于访问日志实现OSS监控

对象存储OSS是阿里云提供的云存储服务,能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务,用户需要时刻关注OSS的使用状况,检测异常状态,从而及时作出响应。

1203 0
|
存储 机器学习/深度学习 运维
|

【CDS技术揭秘系列 02】阿里云CDS-SLS大揭秘

CDS-SLS 作为云化的日志平台,将组件进行高内聚低耦合,线下用户最低可以在6台规模的机器上将上述所有的功能自动化部署,在运维、运营、财务管理、数据分析报表等大数据场景领域以低代码模式有效解决传统软件中的痛点。本文主要进行 CDS-SLS 各功能点概览性的介绍。

2199 0
|
存储 SQL 机器学习/深度学习
|

基于SLS平台与日志审计构建Cloud SIEM方案

本文介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

2280 0
我要发布