开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
233
内容
0
活动
51
关注
|
存储 消息中间件 Cloud Native
|

40年技术发展变革,物联网行业的趋势、现状与挑战

40年技术发展变革,物联网行业的趋势、现状与挑战

1255 1
|
1月前
|
存储 API PHP
|

兰空图床Typecho上传插件LskyPluginTypechoV2安装及使用教程

【10月更文挑战第1天】本插件基于isYangs、泽泽站长、兔子君、冷寂等前辈的作品,适用于Typecho。教程包括获取API Token、设置插件及上传图片等步骤。

51 0
|
5月前
|
存储 弹性计算 运维
|

数据灾备中心:创新性企业灾备管理服务

阿里云数据灾备中心旨在提供创新的灾备解决方案,确保企业业务连续性和数据安全。面对数据风险,如误删、勒索软件等,即使在公共云上,企业仍需灾备措施。数据灾备中心提供统一管理,通过3-2-1法则实现全面保护,特色包括统一覆盖多种资源、直观的星级评分和3D展示、简化运维流程。未来将推出更多功能,如资源分组评分、一体化策略中心、定制报表和消息中心,以支持不同行业的高要求,如金融、医疗等。

24577 8
|
存储 运维 容灾
|

【CDS技术揭秘系列 01】阿里云CDS-OSS容灾大揭秘

本文主要阐述 CDS 产品中 OSS 服务在容灾方面的部署形态以及实现的其本原理。 容灾功能可以保证用户一份数据在多个地方存在冗余备份,当某个机房出现极端异常(比如物理损毁)情况下,数据也不会出现丢失;也可以保障当某个机房出现不可用(比如断电)时,用户向外提供的功能也基本不受影响。

1208 0
|
6月前
|

分享:批量多目录图片如何转换PDF,一次性转换多级目录批量的PDF的转换,合并,输出另存等问题,图片转PDF文件,批量图片转PDF文件,多级目录的图片转PDF文件,并且保存到不同的地方,全部搞定

本文介绍了如何高效地将图片转换为PDF,包括单张、多张及多级目录下的图片转换和合并。提供了软件下载链接(百度网盘、腾讯云盘),软件操作简便,支持保存原目录或自定义新目录。转换选项包括单个文件、多个文件夹单独转换以及合并转换。用户可通过双击路径访问源图片和转换结果。该工具特别解决了多级目录图片批量转换的难题,实现保存地址的自由设定,满足不同业务需求。

392 0
|
存储 架构师 数据管理
|

免费下载!《云存储应用白皮书》详解创新背后的技术实践

进入21世纪,云存储技术兴起,并成为应对数据洪流的利器。《云存储应用白皮书》作为云存储行业全景式文档,阐述了变革时代之下云存储的三大核心技术趋势,旨在为数字经济从业者提供具有指导性、操作性的参考资料。电子书现已开放下载,即刻收藏阅读吧!

1451 0
|
SQL 数据采集 网络协议
|

MySQL数据库审计采集技术调研之Packetbeat,eBPF

在数据安全的重要性日益突出的今天,数据库审计是数据安全的重要组成部分。在数据库审计的过程中往往需要关注数据库操作行为和性能数据:需要知道数据库来源IP,数据库服务器IP/端口,数据库登录用户,操作数据库名称,表名称,SQL语句,执行时间和返回数据条数等。这些数据的获取在数据库内核实现无疑是最佳的方式,但是并非所有的数据库都支持审计插件。几乎所有的数据库都是C/S模式,客户端与数据库通过网络协议沟通,数据库的协议大部分也是公开的,所以一种更通用的数据库审计数据采集的方案,应该是通过“外围”的抓包方案,具体是通过分析网络协议来采集数据库的行为数据。

3152 0
|
2月前
|
文件存储 网络架构 Docker
|

NAS部署Alist、Nextcloud、File Browser,贝锐花生壳实现远程访问

对于NAS用户而言,文件管理和私有云应用如Alist、Nextcloud、File Browser等已成为标配。这些应用不仅能在Synology、QNAP等品牌设备上轻松安装,还可通过Docker容器便捷部署。借助贝锐花生壳Docker版,用户无需公网IP和复杂路由器配置,即可实现远程访问和管理文件资源。通过下载并加载贝锐花生壳镜像、启动容器及配置服务,即可生成固定访问域名,轻松实现远程访问。

96 4
|
存储 域名解析 弹性计算
|

阿里云VPC内网DNS日志正式接入SLS日志审计服务

内网DNS日志(Intranet DNS Log) 记录了指定阿里云uid下所有VPC网络内终端产生的DNS域名解析请求和应答,终端请求的这些域名既包含了配置在PrivateZone上的内网权威域名,也包含了外部公网域名。为了满足用户可以快速、简单实现多账号、多地域场景下内网DNS日志的采集、管理、中心化查询分析等需求,DNS与SLS联合开发,在SLS日志审计应用中发布一键开启内网DNS日志的功能。

672 3
|
存储 缓存 监控
|

浅谈对象存储分布式缓存

从整体系统的架构上来考虑降低飞天盘古的请求压力,需要在对象存储业务前端系统服务层面去优化系统全局缓存,提高缓存的命中率。

5064 1
|
监控
|

H3C交换机配置信息中心将日志发送到日志服务器

H3C交换机配置信息中心将日志发送到日志服务器

1372 0
|
SQL 存储 算法
|

如何写出高性能的SQL Join: join实现和最佳实践

Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中,为了避免数据冗余存储,不同的数据往往放在不同的表中,分为事实表和维度表,这样做可以极大的节省数据存储空间。但是在分析数据时,则需要通过join把多表关联起来分析。可以说,做数据分析,绕不开的一个话题就是join。而join有多种类型,在使用上有不同的使用方式,而在实现上也有不同的实现方式。不同的使用方式和实现方式,则会造成性能上的天差地别。本文尝试由表及里梳理join的使用和内部实现方式,通过了解内部实现,了解如何写出一个高性能的join SQL。

2641 2
|
canal 存储 SQL
|

MySQL数据库同步CDC方案调研

数据库同步是一个比较常见的需求,业务数据一般存储在一致性要求比较高的OLTP数据库中,在分析场景中往往需要OLAP数据库或者比较火的数据湖方案;CDC是数据库同步较为流行的方案,全称是Change Data Capture,主要用于捕捉数据库中变化的数据,然后根据变化的数据写入不同的目标存储。接下来是一些数据库CDC方案的调研及原理探讨,调研方案基于MySQL数据库。

3395 0
|
弹性计算 监控 Kubernetes
|

iLogtail使用入门-主机环境日志采集到SLS

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

1629 0
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache Flink

本文档主要介绍如何在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Flink。

460 0
|
存储 SQL 机器学习/深度学习
|

智能巡检云监控指标的最佳实践

在真实的企业生产中,对研发和运维的同学都会面临一个十分繁复且艰难的问题,就是对指标的监控和告警。具体我枚举一些特定的问题请对号入座,看看在算力爆炸的时代能否通过算力和算法一起解决!

1026 0
|
机器学习/深度学习 运维 自然语言处理
|

抑制告警风暴—SLS告警智能合并发布

SLS最新推出了告警智能合并能力,让用户只需一些极简的配置,便可开启告警的智能降噪,抑制告警风暴。

1196 1
|
存储 弹性计算 负载均衡
|

【ESSD技术解读-04】ESSD Auto PL规格,引领IO性能弹性新方向

阿里云 ESSD 为云服务器 ECS 提供低时延、持久性和高可靠的块存储服务,成为云厂商全闪块存储的业界标杆。存储团队推出了 ESSD Auto PL 新的云盘规格,把性能与容量解耦,提供 IO 性能按需供给两大关键特性。AutoPL 具备的灵活性和弹性能力降低了 IT 规模规划难度和因规划不当带来的风险,本文详细介绍了Auto PL 新产品特性、揭秘背后的技术原理。

1178 1
|
3月前
|
存储 固态存储 虚拟化
|

【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN ESXi超融合HCI分布式存储数据恢复案例

近期,我司处理了一个由10台华为OceanStor存储组成的vSAN超融合架构,其中一台存储闪存盘出现故障,用户取下后用新的闪存盘代替,然后对该闪存盘所在的磁盘组进行重建,导致集群中一台使用0置备策略的虚拟机数据丢失。

82 6
|
存储 运维
|

聚焦移动互联网,传易将好音乐带给非洲用户

传易音乐借助阿里云数据湖、多媒体数据存储等解决方案,获得了PB级容量及超百Gb的带宽吞吐能力。

1114 1
|
存储 负载均衡 网络性能优化
|

谈一谈文件系统的多租户实践

为了保证多租户场景下,单个用户可以获得与独占资源时相同的体验,云服务需要综合利用负载均衡、请求优先级调度、实例隔离等多项技术,让用户流量恰当地分布在整个集群中。

5407 3
|
存储 消息中间件 分布式计算
|

容器持久化存储-容器有状态应用调研报告

容器持久化存储-容器有状态应用调研报告

51965 5
|
存储 监控 Cloud Native
|

云存储生态构建的技术基因和最佳实践

Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

479 0
|
数据采集 监控 Linux
|

​数据采集神器Telegraf对接开源日志服务器GrayLog

​数据采集神器Telegraf对接开源日志服务器GrayLog

746 0
|
SQL 机器学习/深度学习 存储
|

通过日志服务实现数据库MySQL入湖OSS实践

日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。 本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践,并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。

464 0
|
SQL 运维 监控
|

零基础玩转SLS日志分析 - SLS Data Explorer发布

为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。

1378 0
|
存储 数据采集 人工智能
|

以Trace为核心的根因分析概述

近期一直在学习和复现“根因分析”领域的相关文章,在这里跟大家一起分享下相关内容。这里不在赘述关于“可观测性”和“AIOps”的重要性和必要性,也不过多的陈述在“复杂系统”中进行快速根因诊断的必要性,直接进入到相关算法和系统设计部分。

1543 0
|
分布式计算 Hadoop Java
|

在文件存储HDFS版上使用 TensorFlow

本文介绍如何在文件存储HDFS版上使用 TensorFlow。

716 0
|
弹性计算 分布式计算 Hadoop
|

迁移开源HDFS数据到文件存储HDFS版

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS版。

459 0
|
存储 SQL 人工智能
|

MySQL监控-Datadog数据库监控调研

MySQL是最流行的数据库之一,在大多系统的后端的存储都有MySQL的身影,MySQL运行的是否健康,直接影响着整个系统的运行,数据库的瓶颈往往也是整个系统的瓶颈,其重要性不言而喻,所以对于MySQL的监控必不可少,及时发现MySQL运行中的异常,可以有效提高系统的可用性和用户体验。 本文主要介绍下MySQL如何做监控,以及对Datadog的Database Monitoring的一些简单调研。

1236 0
|
存储 运维 Kubernetes
|

阿里云文件存储NAS推出回收站功能,轻松实现数据保护

阿里云文件存储通用型NAS现已经全面支持“回收站”特性。该功能适用于通用性能型和通用容量型规格。当文件系统启用该特性后,“回收站”功能可以保护和恢复误删除、误替换的数据。 文件存储NAS“回收站”和快照、备份不同,具有如下特点: 当NAS开启回收站特性后,该文件系统内文件的每次替换、删除操作,NAS都会将原文件自动保存至回收站中。回收站中的文件支持根据用户设置的策略自动清理,并可以即刻恢复至文件系统原位置。

1190 0
|
存储 消息中间件 监控
|

释放Trace的价值-SLS OpenTelemetry新功能直击痛点

SLS在2021年4月份正式发布了对OpenTelemetry Trace 1.0版本的支持,完全兼容OpenTelemetry Trace1.0版本的所有字段,提供了Trace显示、分析、拓扑展示等功能。在功能发布后,众多客户开始接入SLS Trace并深度使用,其中对我们也提出来非常多的建议和需求。从中我们提取出了呼声最高的一些功能和优化点,加入到了SLS的Trace方案1.1版本中。

1625 1
|
1月前
|
Ubuntu 文件存储 数据安全/隐私保护
|

电视盒子部署云相册

【10月更文挑战第2天】 利用电视盒子实现个人云相册,完成手机相册瘦身,以及数据安全保存,最小成本实现个人云部署

56 1
|
6月前
|
存储 Cloud Native 对象存储
|

AutoMQ:基于阿里云计算与存储产品实现云原生架构升级

AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储OSS、块存储 ESSD、弹性伸缩ESS以及抢占式实例实现了相比 Apache Kafka 10倍的成本优势并且提供了自动弹性的能力。

84319 26
|
6月前
|
数据采集 存储 监控
|

离散型工厂生产制造MES管理系统解决方案

MES 是车间中用以管理和优化从订单下达到产品完工的整个生产过程的硬件和软件的集合,它控制和利用准确的制造信息,对车间生产活动中的实时事件做出快速响应,同时向企业决策支持过程提供相关生产活动的重要信息。

299 0
|
数据采集 存储 消息中间件
|

iLogtail开源之路

2022年6月底,阿里云iLogtail代码完整开源,正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量,每天采集数十PB的可观测数据,广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景。此次完整开源,iLogtail社区版首次在内核能力上与企业版完全对齐,开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。

1046 1
|
存储 数据采集 监控
|

无数据告警最佳实践

在对SLS的Logstore和Metricstore进行监控的过程中,有时候会出现一些无数据的情况,监控SLS的存储库中无数据的情况,是保证数据成功上传到SLS的一个重要手段,本文将介绍无数据告警的常见配置方法。

460 0
|
SQL 存储 运维
|

基于IoT全链路实时质量-魔洛哥

通过基于IoT的全链路实时质量,业务使用狄仁杰进行全链路埋点后,可一键接入魔洛哥平台,实现终端问题的实时感知和链路分析,以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低(分钟级别接入),可实现全链路的实时质量分析,以及精准的终端预警能力。帮助开发运维同学实时发现问题,快速问题的定位分析。

701 0
|
存储 运维 监控
|

Alibaba Cloud Lens 云产品可观测平台

Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。

2065 2

阿里云文件系统SMB ACL超级用户功能使用指南

阿里云文件系统对于SMB文件系统提供了SMB ACL超级用户功能,可以方便客户在无需改变目录权限的情况下查看和修改任何目录或者任何文件。方便文件系统的管理员进行管理。 以下介绍两个适用SMB ACL超级用户功能的案例,方便用户模仿使用。

394 0
|
存储 监控 索引
|

SLS告警最佳实践——自定义分析告警历史

在SLS告警评估、触发到通知的整个生命周期过程中,都会有一些日志记录,通过这些日志我们可以借助告警对系统的整体健康状况、稳定性等有一个相对全面的了解。

554 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 Apache Tez

本文档主要介绍在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Tez。

449 0
|
存储 弹性计算 分布式计算
|

文件存储HDFS版和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

727 0
|
存储 Oracle 关系型数据库
|

【ESSD技术解读-02】企业级利器,阿里云 NVMe 盘和共享存储

当前 NVMe 云盘结合了业界最先进的软硬件技术,在云存储市场,首创性同时实现了 NVMe 协议 + 共享访问 + IO Fencing 技术。它在 ESSD 之上获得了高可靠、高可用、高性能,同时基于 NVMe 协议实现了丰富的企业特性,如多重挂载、IO Fencing、加密、离线扩容、原生快照、异步复制等功能。本文详细介绍了云上SAN和NVMe的发展历程,并做出了对未来的构想

1951 0
|
Prometheus 监控 Cloud Native
|

5分钟理解SLS告警通知时机

SLS告警支持丰富的告警管理功能,例如合并抑制静默等功能,跟SLS旧版告警相比增加了很多告警降噪抑制的功能,和用户管理,值班组和可定制复用的内容模板功能。在使用的过程中,因为增加了告警的降噪功能,从告警产生到发送通知这个过程增加了一个告警降噪的过程;因为降噪机制的存在,可能会出现告警触发但不一定会立即发出通知的情况。了解SLS告警通知时机将有助于理解这些情况。

857 0
|
5月前
|
缓存 Linux Windows
|

初识Linux操作系统(根目录下的重要文件)(命令提示符的含义)

Linux系统基于"一切皆文件"的理念,重要文件分布在如/root(root用户目录)、/home(普通用户目录)、/etc(应用配置)、/dev(设备文件)、/boot(内核及启动文件)、/proc(动态系统信息)、/lib64(库文件)、/opt(软件存放)、/tmp(临时文件)。"[root@localhost ~]#"代表管理员在root目录,"$"代表普通用户。创建新用户用`useradd`命令。调节终端字体大小:Ctrl+Shift++增大,Ctrl+减号缩小。绝对路径从根目录开始,相对路径从当前目录开始。

273 1
|
6月前
|
安全 网络安全 区块链
|

勒索病毒利如刀,上网备好技能包

网络安全已不是小说电影中遥远的黑客、间谍与烧脑幻想,而是关系到每一个人的切身利益。勒索病毒作为近年来黑客组织牟取暴利的绝佳手段,也是发展最快的网络安全威胁之一。

62258 9
|
11月前
|
数据采集 监控
|

万界星空科技QMS质量管理系统

QMS(Quality Management System)质量管理系统是五大基础系统之一,在工业企业中被广泛的应用,在质量策划、生产过程质量监督、体系审核和文档管理等业务上发挥着不可替代的作用。

709 1
|
存储 数据采集 运维
|

日志服务(SLS)测评

在本次测评中,我将对日志服务SLS产品进行全面评估,主要从以下四个方面展开。首先,我将进行功能测试,基于之前参加的两次训练实验,对其功能进行评估。其次,我将与其他数据分析&可观测性产品进行比较,以了解SLS的优势和差异。然后,我将进行成本与收益分析,探讨SLS作为一站式的可观测数据存储分析平台所带来的成本节约和收益提升。最后,我将对SLS进行简要总结,并提出一些期待,希望能够为用户提供有用的参考信息。

702 58
|
存储 前端开发 应用服务中间件
|

阿里云对象存储服务OSS前后联调

阿里云对象存储服务OSS前后联调

983 0
我要发布