开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
296
内容
0
活动
67
关注
|
存储 监控 前端开发
|

行动策略过于复杂怎么办?试试下面一些解决方法

随着使用SLS告警越来越深入,有些用户的行动策略会配置的特别复杂,有些时候可以让用户通过创建多个行动策略来进行一定的精简,但是在一些场景下,用户是无法创建多个行动策略的。

533 0
|
SQL 存储 运维
|

SLS 2021年用户体验总结

本文主要作为对2021年SLS产品用户体验改进工作的总结,如您对于产品有任何的建议,可以通过文末的用户体验调研问卷向我们反馈。

859 1
|
SQL 存储 算法
|

如何写出高性能的SQL Join: join实现和最佳实践

Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中,为了避免数据冗余存储,不同的数据往往放在不同的表中,分为事实表和维度表,这样做可以极大的节省数据存储空间。但是在分析数据时,则需要通过join把多表关联起来分析。可以说,做数据分析,绕不开的一个话题就是join。而join有多种类型,在使用上有不同的使用方式,而在实现上也有不同的实现方式。不同的使用方式和实现方式,则会造成性能上的天差地别。本文尝试由表及里梳理join的使用和内部实现方式,通过了解内部实现,了解如何写出一个高性能的join SQL。

3543 2
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache HBase

本文档主要介绍在文件存储HDFS版上使用 Apache HBase 的方法。

464 0
|
网络协议 Linux 文件存储
|

NAS SMB ACL自动配置自动检查脚本

NAS SMB ACL的系列文章详细叙述了如何安装并启用AD域服务与DNS服务,将阿里云SMB协议文件系统挂载点接入AD域,将Windows客户端加入AD域,Windows客户端以AD域用户身份挂载并使用阿里云SMB协议文件系统。 即便我们提供了多篇文章尽力描述清楚整个NAS SMB ACL的配置步骤,但是复杂的流程仍然给用户造成了困扰。为了让配置更加简单,我们开发了NAS SMB ACL自动配置和自动检查脚本,将复杂的步骤尽量压缩在数个Powershell命令中。 注意:该Powershell每次运行一条修改命令,会弹出确认框,需要手动确认要执行的命令。

769 0
|
监控 前端开发
|

SLS新版告警入门——行动策略

SLS新版本告警中,将通知相关的配置统一收拢,从而形成行动策略。行动策略用来管理通知的发送,例如以什么渠道、发送给谁、发送什么内容以及发送通知的时间限制等。通过配置行动策略,可以实现通知的复用,比如多个告警使用相同的行动策略进行通知发送。

1069 0
|
弹性计算 运维 网络安全
|

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

888 1
|
存储 SQL JSON
|

[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结,有错误之处欢迎交流。

1155 2
|
SQL 存储 机器学习/深度学习
|

2022年AIOps热身赛数据可视化详解

本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。

3717 2
|
存储 监控 负载均衡
|

日志审计:多账号下ALB访问日志的自动化采集与监控

本文主要介绍在日志审计下如何开启ALB访问日志的自动化采集与监控

930 0
|
数据采集 运维 监控
|

Alibaba Cloud Toolkit 中SLS插件助力线上服务问题排查

Alibaba Cloud Toolkit 是一款非常优秀的插件,新增SLS日志服务的功能,针对软件开发者日常工作中常见的问题排查场景,将日志服务平台的功能集成到ide当中,省去了不同窗口之间来回切换的时间,大大提高了日常工作的效率

902 0
|
分布式计算 Hadoop Java
|

在文件存储HDFS版上使用 TensorFlow

本文介绍如何在文件存储HDFS版上使用 TensorFlow。

1273 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 CDH6

本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版,并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版,实现存储计算分离。

996 0
|
消息中间件 监控 安全
|

Log4j漏洞不仅仅是修复,更需要构建有效预警机制

软件的漏洞有时不可避免,根据Gartner的相关统计,到 2025 年,30% 的关键信息基础设施组织将遇到安全漏洞。日志服务SLS,可帮助快速部署一个预警机制,使得漏洞被利用时可以快速发现并及时响应。通过使用阿里云日志服务SLS,只需两步即可完成攻击检测。

2380 0
|
运维 监控 数据可视化
|

阿里云服务网格ASM集成SLS告警

随着微服务的流行,微服务的架构也在不断的发展演进,Spring Cloud 与 Dubbo为代表的微服务开发框架也得到了普及和落地;在云原生时代,无侵入的服务网格(Service Mesh)开始走向成熟,相对于传统微服务架构,服务网格具有可观察性、流量控制、安全性三大优势。服务网格将之前服务治理中的复杂性从应用中分离出来,将这些复杂性放到了服务代理中,包括流量控制,断路,服务发现,安全性,可观测性等;开发时应用只需要关心业务功能实现,让责任划分变得更加清楚。

842 0
|
运维
|

储留香:一个运维系统就是一个神经系统,我说的!

运维系统可以像神经系统一样,首先,做到数据的统一汇总;其次,可以对数据进行识别筛选输出有效信息;再次,可以预先感知到异常风险,并进行有效规避。而日志服务SLS凭借出色的数据统一采集、智能分析告警、风险预测等能力,已经成为企业智能运维场景下不可或缺的神经系统。

754 0
|
监控 Linux
|

开放告警接入Zabbix

Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控,同时支持多种告警通知渠道。您可以将日志服务告警系统设为Zabbix的一个通知渠道,由日志服务告警系统完成告警降噪、通知等处理,并且通过包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道发送给用户。

1359 0
|
存储 人工智能 数据管理
|

预约报名|RAG实践营——智能数据管理专题沙龙·成都站

立即报名,抢占现场参会名额,与各位大咖面对面探讨技术创新与应用模式!

438 10
|
数据采集 存储 监控
|

离散型工厂生产制造MES管理系统解决方案

MES 是车间中用以管理和优化从订单下达到产品完工的整个生产过程的硬件和软件的集合,它控制和利用准确的制造信息,对车间生产活动中的实时事件做出快速响应,同时向企业决策支持过程提供相关生产活动的重要信息。

944 0
|
Web App开发 数据采集 前端开发
|

什么是Selenium

什么是Selenium

660 0
|
存储 数据采集 运维
|

日志服务(SLS)测评

在本次测评中,我将对日志服务SLS产品进行全面评估,主要从以下四个方面展开。首先,我将进行功能测试,基于之前参加的两次训练实验,对其功能进行评估。其次,我将与其他数据分析&可观测性产品进行比较,以了解SLS的优势和差异。然后,我将进行成本与收益分析,探讨SLS作为一站式的可观测数据存储分析平台所带来的成本节约和收益提升。最后,我将对SLS进行简要总结,并提出一些期待,希望能够为用户提供有用的参考信息。

1271 58
|
存储 数据采集 弹性计算
|

一文详解K8s环境下Job类日志采集方案

K8s丰富的controller为分布式任务编排提供了极大的便利,然而任务的时长可能很短(如定时清理数据的任务),甚至有些任务因为一启动就运行失败出现秒退的情况,这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案,分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

1026 0
|
机器人
|

智能巡检告警配置最佳实践

智能异常分析的检测结果通过 SLS 告警功能输出到用户配置的通知渠道。在智能巡检场景中,单个任务往往会巡检大量的实体对象,涉及到的对象规则很多,我们通过SLS新版告警可以实现较好的对于巡检事件的管理。

1293 0
|
SQL 分布式计算 关系型数据库
|

文件存储HDFS版和数据库MySQL双向数据迁移

本文档介绍如何使用Sqoop工具实现文件存储HDFS版和关系型数据库MySQL之间的双向数据迁移。

1029 1
|
2月前
|
存储 人工智能 弹性计算
|

AgenticFS 重磅发布:专为 AI Agent 打造的全新文件存储

阿里云发布AgenticFS——全球首款Agent Native文件存储,专为AI Agent场景设计。单系统支持百万级AgenticSpace,提供目录级权限隔离、独立配额与性能QoS,峰值挂卸载达10万QPS,兼顾安全、弹性与超大规模扩展能力。(239字)

295 0
|
2月前
|
存储 人工智能 运维
|

大模型竞争进入下半场,存储正在成为 AI Infra 的决胜场

AI时代,存储正从“容量底座”跃升为“智能引擎”。阿里云发布CPFS、KVCacheStore、AgenticFS及OSS/CDE Agent等新品,覆盖训练、推理、Agent全生命周期——百PB级吞吐、亚毫秒KV缓存、百万级Agent空间隔离、自然语言智能运维,全面支撑AI原生与Agent原生演进。

260 2
|
2月前
|
存储 缓存 安全
|

指纹、网络与存储三重隔离:链上身份独立性的工程实践

本文解析链上多账号操作中“同一个人被当成一群人”的风险根源,指出设备指纹、网络出口、存储共享和行为雷同四大关联隐患;详解多账号浏览器(如MostLogin)如何通过底层内核改造、自然指纹模拟、独立网络与存储隔离实现环境级防护,并强调工具仅解决环境问题,行为合规与法律风险仍需用户自主把控。

152 0
|
存储 人工智能 安全
|

揭秘 MiniMax MaxClaw:如何用阿里云让“龙虾”企业级大规模落地

MiniMax 依托于阿里云容器服务 Kubernetes 版(ACK)和容器计算服务(ACS)提供的 ACS Agent Sandbox,为其最新发布的企业级平台 MaxClaw 构建了一套端到端的云原生 Agent 基础设施。

1081 0
|
2月前
|
SQL 分布式计算 对象存储
|

分析师想查数据湖?Trino 不用搬数据,直接查 OSS Tables【详解 OSS Tables 系列】

本文介绍如何让Trino支持阿里云OSS Tables——需对Trino源码做两处轻量修改(注册oss://协议),使其通过Iceberg REST Catalog对接OSS Tables,实现秒级交互式SQL查询。涵盖Table Bucket创建、Catalog配置及权限设置,助力BI分析师高效即席分析湖数据。(239字)

171 0
|
2月前
|
SQL 分布式计算 对象存储
|

Flink 算完的数据存哪?写进 OSS Tables,实时离线读同一张表【详解 OSS Tables 系列】

OSS Tables 是阿里云推出的 Iceberg 数据湖服务,原生兼容 REST Catalog 协议,让 Flink 无需额外部署元数据服务即可直连建表、写入与查询,实现 Exactly-Once 流式入湖,简化实时计算后的数据归宿问题。

170 0
|
人工智能 5G 定位技术
|

如何使用基站查询API帮你解析地理位置?

随着“新基建”战略推进,我国已建成全球领先的移动通信网络。基于基站数据的LBS定位服务成为各行业数字化转型的重要工具。探数平台基站查询API整合三大运营商数据,提供高精度、低延迟的地理位置查询服务,广泛应用于位置推荐、物流追踪等领域。本文详细介绍该API的核心功能、返回字段及调用流程,并通过Python示例展示使用方法。未来,随着5G和AI技术发展,基站定位将迈向厘米级精度,赋能自动驾驶、工业物联网等前沿领域,助力开发者抢占位置经济的战略高地。

4037 1
|
4月前
|
存储 机器学习/深度学习 人工智能
|

阿里云 EBS 云盘克隆公测上线,“克隆+预热”双引擎支撑 Agent Sandbox 大规模并发启动

阿里云 EBS 推出“云盘克隆+快照预热”双引擎,毫秒级加载镜像,支撑 AI Agent Sandbox 大规模并发启动。克隆实现同区云盘秒级复制,预热消除冷启动延迟,最高支持 1 万盘并发创建,存储成本降 80%,已公测开放。

417 0
|
存储 人工智能 安全
|

CPFS深度解析:并行文件存储加速AI创新

在生成式AI的大潮中,并行文件系统作为高性能数据底座,为AI算力提供高吞吐、低延迟的数据存储服务。在本话题中,我们将介绍阿里云并行文件存储CPFS针对AI智算场景而提供的产品能力演进与更新,深入讲解在性能、成本、稳定、安全等方面的技术创新。

1796 0
|
API 开发者 Python
|

ISBN 数据查询 API :掌管书海信息的钥匙 如何调用?

探数平台的ISBN数据查询_专业版API致力于解决高校教辅书籍管理与交易中的痛点。通过输入13位ISBN编码,用户可快速获取图书名称、出版社、作者等20+维度信息,确保正版与版本准确性。该API包含图书基础信息查询和版本对比功能,适用于二手书交易、图书馆管理及电商场景。文档详细解析了ISBN编码规则、接口调用流程及Python示例代码,助力开发者高效集成,推动图书管理数字化升级。

1784 0
|
存储 人工智能 运维
|

阿里云联合上海交大荣膺 FAST'26 最佳论文:揭秘云上本地存储的演进与未来发展

通过论文,阿里云展示了如何利用软硬协同(ASIC+SoC)与端云融合(Local+EBS)的技术红利,打破存储性能、成本与可靠性的“不可能三角”。

685 1
|
存储 NoSQL Serverless
|

看 AgentRun 如何玩转记忆存储,最佳实践来了!

AgentRun 基于 Tablestore 提供三类智能体记忆能力:会话历史(维持单轮多轮上下文)、长期记忆(跨会话存储用户偏好等结构化信息)、会话状态(持久化任务进度等元数据),支持控制台配置与 SDK/SDK 集成。

586 0
|
存储 人工智能 安全
|

OSS 深度解析:Data + AI 时代的对象存储

在 Data + AI 时代,随着大数据分析和 AI/ML 工作负载的进一步融合,对象存储 OSS 作为面向 AI 时代的数据基础设施,迎来了新的挑战与创新机遇。本话题我们将会介绍对象存储的能力创新,深度解读对象存储在实现稳定、安全、高性能和低成本背后的技术进展,并展望未来 AI 驱动趋势下的技术发展方向。

2266 2
|
存储 Cloud Native 块存储
|

EBS深度解析:云原生时代企业级块存储

企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。

1299 3
|
2月前
|
SQL 分布式计算 对象存储
|

还在自建 Hive Metastore?Spark 直连 OSS Tables 就能跑 Iceberg 【详解 OSS Tables 系列】

本文详解Spark对接OSS Tables数据湖的极简方案:无需自建Hive Metastore,原生兼容Iceberg REST Catalog协议,仅需配置JAR包、凭证及Catalog参数,即可通过标准SQL完成建表、读写、分区、Time Travel等全功能操作。

144 2
|
2月前
|
消息中间件 Java Kafka
|

流数据还在写文件慢慢导?Kafka Connect 一条链路直接入湖【详解 OSS Tables 系列】

本文详解如何通过Kafka Connect Iceberg Sink Connector,将Kafka流数据实时写入阿里云OSS Tables数据湖。涵盖环境准备、Table Bucket/命名空间/表创建、Connector配置及权限设置,实现免运维、Exactly-Once的流式入湖。

134 2
|
2月前
|
存储 固态存储 Serverless
|

大模型之外,向量存储如何支撑 Agent 的检索链路

当前对于向量存储的讨论寥寥,但其重要性不言而喻,向量存储正在从底层技术组件变成 Agent 平台的基础能力。这篇文章想从 Agent 的实际需求出发,谈谈我们对向量存储技术方向的一些思考,也分享我们在这个方向上的具体做法。重点会放在三种主流索引实现的取舍、混合检索和分布式架构的设计思路上。选型部分除了技术因素,还会聊聊 Serverless 这个容易被忽略但越来越重要的维度,最后通过伪代码演示阿里云两种 Serverless 向量存储的基本用法。

156 0
消息中间件 安全 数据安全/隐私保护
|

67 0
我要发布