开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
264
内容
0
活动
59
关注
|
SQL 分布式计算 Hadoop
|

在文件存储HDFS版上使用 Presto

本文档主要介绍在文件存储HDFS版上搭建及使用 Presto。

930 0
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1190 0
|
SQL 存储 弹性计算
|

日志审计:多账号下VPC Flow日志的采集与监控

VPC流日志的采集和监控在日志审计下的功能介绍及最佳实践

781 0
|
存储 运维 监控
|

从日志审计角度解读网络数据时代新安全

本文主要从日志审计的角度解读《网络安全法》、《数据安全法》、《等保2.0》等,介绍新数字经济时代,企业用户应如何加强网络安全管理和数据安全治理,全方位地守护企业云上资产及数据安全。

1918 0
|
存储 运维 容灾
|

【CDS技术揭秘系列 01】阿里云CDS-OSS容灾大揭秘

本文主要阐述 CDS 产品中 OSS 服务在容灾方面的部署形态以及实现的其本原理。 容灾功能可以保证用户一份数据在多个地方存在冗余备份,当某个机房出现极端异常(比如物理损毁)情况下,数据也不会出现丢失;也可以保障当某个机房出现不可用(比如断电)时,用户向外提供的功能也基本不受影响。

1888 0
|
运维 监控
|

SLS告警内置通知渠道最佳实践

为了实现全方位、多层次的告警通知,SLS告警内置了多种通知渠道,从触达强度、通知内容丰富程度等方面进行了全方位的覆盖。本文会详细介绍各个渠道的一些特点以及限制,并给出一般场景下的最佳实践。

989 0
|
存储 SQL 监控
|

SLS新版告警自助排查系列之告警监控

在SLS告警中,告警监控通过对数据源的查询监控,然后产生告警,并将告警发送到告警管理,告警管理会对告警进行降噪处理包括合并抑制静默后,在将告警发送给行动管理,最终发送通知到用户配置的接收渠道。在整个过程中,告警监控作为告警的源头,决定着告警是否能准确的发出。在配置告警监控规则时,配置不当或者配置错误都会导致告警不能触发或者不是希望的触发。本文主要介绍在告警监控中如何进行自助排查问题。

1090 0
|
机器学习/深度学习 存储 SQL
|

SLS新版告警入门-统一的查询分析语法

SLS新版告警支持多种监控目标,如SLS的日志存储,时序存储;也支持对外部系统如Promethus,Grafana,Zabbix产生的告警进行管理;在对SLS的存储进行监控时,用户可以自定义告警监控规则或者使用内置的告警规则。自定义告警监控规则主要包括监控目标,触发条件,行动配置等。本文主要介绍在创建自定义告警规则时,如何使用统一的查询分析语法来查询并定义监控目标。

2224 0
|
5月前
|
存储 运维 监控
|

【服务器数据恢复】H3C华三Ceph分布式存储文件丢失数据恢复案例

金海境科技专业从事数据中心数据恢复技术研发、产品销售和运维技术服务的高新技术企业。业务包含服务器数据恢复、分布式数据恢复、数据库数据恢复公司以IDC数据中心为核心业务方向,拥有文件系统底层架构解析核心技术,为超融合、虚拟化云平台、分布式存储、数据库以及勒索病毒加密等场景下的数据丢失提供数据恢复解决方案。

328 9
|
存储 固态存储 虚拟化
|

【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN ESXi超融合HCI分布式存储数据恢复案例

近期,我司处理了一个由10台华为OceanStor存储组成的vSAN超融合架构,其中一台存储闪存盘出现故障,用户取下后用新的闪存盘代替,然后对该闪存盘所在的磁盘组进行重建,导致集群中一台使用0置备策略的虚拟机数据丢失。

493 6
|
存储 机器学习/深度学习 人工智能
|

AIGC训练场景下的存储特征研究

在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

95653 8
|
存储 人工智能 Cloud Native
|

再谈数据湖3.0:降本增效背后的创新原动力

越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时,数据湖的应用场景也在不断发展,各行各业都在云上构建数据湖,从一开始的简单分析,到互联网搜索推广和深度分析以及近两年大规模的AI训练,都是基于数据湖架构进行的。

13897 25
|
存储 缓存 算法
|

[SIGMOD 22 学习]《Adaptive Hybrid Indexes》解读

本文是学习总结,有错误处欢迎交流。

645 0
|
存储 JSON 运维
|

使用Terraform玩转SLS告警

Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具,“Write,Plan and Create Infrastructure as Code”,Terraform的命令行接口(CLI)提供了一种简单的机制,用于将配置文件部署到阿里云或者其他任意支持的云上,并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块;强大的功能当然也有自动化配置的需求,本文将介绍如何使用Terraform进行简单的配置,即可完成在无界面的告警配置。

1132 0
|
存储 数据采集 SQL
|

阿里云日志服务 SLS 全景体验

阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

1779 1
|
弹性计算 监控 Kubernetes
|

iLogtail使用入门-主机环境日志采集到SLS

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

2355 0
|
弹性计算 分布式计算 Hadoop
|

迁移开源HDFS数据到文件存储HDFS版

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS版。

799 0
|
SQL 消息中间件 数据采集
|

Trace告警配置最佳实践

阿里云日志服务(SLS)提供了Log,Metric,Trace等三种数据快速接入的能力,同时也提供了丰富的分析功能和可定制化的Dashboard的能力,客户可以利用SLS快速的搭建可观测性平台,让用户更加关注于分析,降低用户接入各类数据的门槛。本文主要讲述应用接入SLS Trace服务后,针对各种场景化如何配置告警。

1413 0
|
存储 弹性计算 负载均衡
|

【ESSD技术解读-04】ESSD Auto PL规格,引领IO性能弹性新方向

阿里云 ESSD 为云服务器 ECS 提供低时延、持久性和高可靠的块存储服务,成为云厂商全闪块存储的业界标杆。存储团队推出了 ESSD Auto PL 新的云盘规格,把性能与容量解耦,提供 IO 性能按需供给两大关键特性。AutoPL 具备的灵活性和弹性能力降低了 IT 规模规划难度和因规划不当带来的风险,本文详细介绍了Auto PL 新产品特性、揭秘背后的技术原理。

1783 1
|
消息中间件 存储 负载均衡
|

SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

Kafka 以消息存储系统在业界闻名,近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams(流计算)、ksqlDB(基于 Kafka Streams 的类分析型 DB 系统)。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结,梳理 Kafka Streams 在流处理场景上的设计思路。

920 0
|
数据采集 移动开发 弹性计算
|

日志审计携手DDoS防护助力云上安全

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

804 0
|
运维 监控
|

SLS新版本告警入门——用户、用户组及值班组

在之前的告警中,如果想要发送通知给某个用户,那么需要配置该用户的手机号或者邮箱。如果有多个告警都需要发送给同一个用户,就需要多次配置手机号和邮箱。假如告警要发给多个人,那么就要配置多个用户的手机号和邮箱。这就存在着诸多痛点。基于以上痛点,在新版本的告警中,加入了用户和用户组的管理,并且在此基础上添加了值班组,从而可以非常方便地进行用户的管理,还能够实现高级的值班功能。

813 0
|
10月前
|
JSON 安全 API
|

人车关系核验 API:核验一致性的Python调用指南

在现代交通管理中,“人车不符”“证照分离”等问题频发,影响监管与安全。为此,基于多源数据的人车关系核验API应运而生,提供实时身份一致性验证,支撑智慧交通建设。

444 0
|
存储 弹性计算 运维
|

数据灾备中心:创新性企业灾备管理服务

阿里云数据灾备中心旨在提供创新的灾备解决方案,确保企业业务连续性和数据安全。面对数据风险,如误删、勒索软件等,即使在公共云上,企业仍需灾备措施。数据灾备中心提供统一管理,通过3-2-1法则实现全面保护,特色包括统一覆盖多种资源、直观的星级评分和3D展示、简化运维流程。未来将推出更多功能,如资源分组评分、一体化策略中心、定制报表和消息中心,以支持不同行业的高要求,如金融、医疗等。

25205 8
|
弹性计算 安全 关系型数据库
|

阿里云产品在技术探索中的实践和思考

本文讲述了作者在使用阿里云产品进行技术探索的实践中,如何借助ECS、RDS、OSS、SLB和VPC构建高可用分布式系统。从最初的虚拟主机服务到全面的云服务,阿里云帮助解决了性能、负载均衡、数据存储和网络安全等问题。在面对性能优化、成本控制和安全管理的挑战时,作者通过监控、调整和采用安全措施确保了系统的高效运行。未来,作者将继续在云计算领域探索,利用AI、大数据及物联网技术驱动业务创新和增长。

624 0
|
数据采集 监控
|

万界星空科技QMS质量管理系统

QMS(Quality Management System)质量管理系统是五大基础系统之一,在工业企业中被广泛的应用,在质量策划、生产过程质量监督、体系审核和文档管理等业务上发挥着不可替代的作用。

1272 1
|
存储 机器学习/深度学习 人工智能
|

从云存储的角度浅显的聊一聊 AIGC

现在,你要是还没听过“通义千问”、“通义听悟”,出门都不好意思和别人打招呼。那么,以其为代表的 AIGC(AI Generated Content)又是如何凭实力屡屡破圈,其发展更是经历了怎样的烈火烹油、鲜花着锦呢?

5008 2
|
存储 架构师 数据管理
|

免费下载!《云存储应用白皮书》详解创新背后的技术实践

进入21世纪,云存储技术兴起,并成为应对数据洪流的利器。《云存储应用白皮书》作为云存储行业全景式文档,阐述了变革时代之下云存储的三大核心技术趋势,旨在为数字经济从业者提供具有指导性、操作性的参考资料。电子书现已开放下载,即刻收藏阅读吧!

1952 0
|
数据采集 存储 消息中间件
|

iLogtail开源之路

2022年6月底,阿里云iLogtail代码完整开源,正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量,每天采集数十PB的可观测数据,广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景。此次完整开源,iLogtail社区版首次在内核能力上与企业版完全对齐,开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。

1672 1
|
存储 消息中间件 分布式计算
|

容器持久化存储-容器有状态应用调研报告

容器持久化存储-容器有状态应用调研报告

52321 5
|
SQL 运维 监控
|

零基础玩转SLS日志分析 - SLS Data Explorer发布

为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。

1757 0
|
分布式计算 Hadoop Java
|

在文件存储HDFS版上使用 TensorFlow

本文介绍如何在文件存储HDFS版上使用 TensorFlow。

1159 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 CDH6

本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版,并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版,实现存储计算分离。

862 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 Apache Tez

本文档主要介绍在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Tez。

716 0
|
机器学习/深度学习 运维 自然语言处理
|

抑制告警风暴—SLS告警智能合并发布

SLS最新推出了告警智能合并能力,让用户只需一些极简的配置,便可开启告警的智能降噪,抑制告警风暴。

2013 1
|
SQL 数据采集 安全
|

数据库审计数据采集方案调研

在互联网,云计算,大数据快速发展的背景下,数据的规模也有了前所未有的增长,数据库在企业数据中几乎占有着核心地位。同时SQL注入,敏感操作,不规范使用等问题也一直伴随着数据库的使用,数据库安全也一直的数据库管理的重要工作,主要包括数据库漏扫,数据库加密,数据库防火墙,数据库脱敏,数据库安全审计等领域,本文将从数据库审计角度来介绍数据库审计的概念及审计数据的采集方案。

1037 0
|
存储 运维 监控
|

深入解读等保2.0

本文主要介绍等保2.0的由来,等保2.0和1.0的区别,企业过等保的具体流程,手把手教你从等保小白变身等保专家。

4656 1
|
存储 SQL 运维
|

【ESSD技术解读-03】阿里云块存储企业级特性之异步复制

在大数据时代,数据就是企业的核心资产,是企业的生命线。在现实世界中,灾难时有发生,当发生灾难时,容灾能力成为企业能否生存的关键。云上容灾服务,通常称为 DRaaS(灾难恢复即服务)不但能够省去自建容灾中心的开销,还能节省后续运维成本,帮助客户快速建立起跨地域的容灾方案,即买即用,随时释放的特性也为用户提供了极大的弹性。本文介绍了云上容灾产品形态,企业可结合自身特点选择合适的容灾方案,针对异步复制产品解析了传统容灾与云上容灾的技术架构。阿里云块存储也结合自身架构特点实现了块存储的异步复制产品。

1341 0
|
JSON 编解码 监控
|

SLS告警重磅更新——让你的告警通知一目了然

SLS告警最近升级了通知的模板语法,在保持对原有模板语法兼容的情况下,增加了动态渲染的功能,不仅支持条件语句、循环语句等控制流,还内置了50+函数,可以非常方便地对数据进行各种处理,从而可以非常灵活方便地对通知内容进行定制,让通知内容呈现的效果更加丰富、内容一目了然。

1339 0
|
存储 弹性计算 监控
|

日志审计多帐号采集方案升级--资源目录集成

阿里云SLS日志服务集成阿里云资源目录服务,支持跨账号实时自动化、中心化采集阿里云产品日志。

566 0
|
存储 运维 Kubernetes
|

阿里云文件存储NAS推出回收站功能,轻松实现数据保护

阿里云文件存储通用型NAS现已经全面支持“回收站”特性。该功能适用于通用性能型和通用容量型规格。当文件系统启用该特性后,“回收站”功能可以保护和恢复误删除、误替换的数据。 文件存储NAS“回收站”和快照、备份不同,具有如下特点: 当NAS开启回收站特性后,该文件系统内文件的每次替换、删除操作,NAS都会将原文件自动保存至回收站中。回收站中的文件支持根据用户设置的策略自动清理,并可以即刻恢复至文件系统原位置。

1753 0
|
存储 消息中间件 Cloud Native
|

40年技术发展变革,物联网行业的趋势、现状与挑战

40年技术发展变革,物联网行业的趋势、现状与挑战

1516 1
|
存储 传感器 SQL
|

可观测系统存储分析最佳实践

分享在北京云峰会智能运维场的主题

1281 0
|
11月前
|
人工智能 安全 API
|

身份验证API的实战指南(Python & PHP 示例)

本文介绍了基于身份证信息的实名认证API,适用于金融、电商、政务、医疗等领域的身份核验场景。内容包含Python与PHP调用示例及返回结果解析,助力开发者快速集成安全合规的身份验证功能。

739 0
|
存储 IDE 开发工具
|

磁盘的物理组成

本文介绍了磁盘的物理组成和如何新增磁盘。磁盘主要由主轴、磁盘盘、磁头和磁头臂组成,其中磁道、簇、扇面和扇区是磁盘的基本存储单元。新增磁盘的步骤包括关闭操作系统、选择磁盘类型和容量、创建新虚拟磁盘并完成配置。常见的磁盘接口类型有IDE、SCSI、SATA和SAS。

692 1
|
存储 弹性计算 监控
|

利用阿里云云产品进行项目成本节约的实践

本文分享了利用阿里云降低成本的实践经验,主要通过选择合适的计费模式(如按量付费、包年包月和抢占式实例)、优化资源配置(弹性伸缩、资源监控与调整、适配存储方案)、利用优惠和成本管理工具(预留实例券、成本预警、优惠活动)以及案例分析,实现云计算成本的有效控制。通过这些策略,企业在保证灵活性和扩展性的同时,能更好地管理云服务成本,提高项目经济效益。

1142 4
|
数据采集 中间件 Shell
|

一文了解常见的Python爬虫框架Scrapy

爬虫框架:Scrapy

1985 1
|
存储 缓存 监控
|

浅谈对象存储分布式缓存

从整体系统的架构上来考虑降低飞天盘古的请求压力,需要在对象存储业务前端系统服务层面去优化系统全局缓存,提高缓存的命中率。

5466 1
|
数据采集 监控 Linux
|

​数据采集神器Telegraf对接开源日志服务器GrayLog

​数据采集神器Telegraf对接开源日志服务器GrayLog

1214 0
我要发布