开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
260
内容
0
活动
55
关注
|
存储 SQL JSON
|

[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结,有错误之处欢迎交流。

871 2
|
存储 SQL Prometheus
|

三款“非主流”日志查询分析产品初探

本文介绍三款 "schema-on-read" 类型日志系统。

622 0
|
机器学习/深度学习 SQL 弹性计算
|

在SLS上进行异常点的绘制

对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点

1411 1
|
文件存储 Windows
|

阿里云文件系统NAS SMB如何修改根目录权限

阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。

907 0
|
存储 对象存储 消息中间件
|

SLS 数据投递 OSS 文章专栏

SLS 投递 OSS 功能介绍、使用帮助、场景实践合集

409 0
|
JSON 监控 应用服务中间件
|

SLS告警最佳实践——Webhook通知最佳实践

SLS告警通知对接了常用的各种 IM 系统,例如钉钉、企业微信、飞书、Slack。SLS对这些系统的 Webhook 进行了包装,用户无需关心各个通知渠道的具体消息格式,只需要配置希望通知的内容即可。 除此之外,还有其它的一些场景,需要使用通用Webhook(自定义 Webhook),本文主要介绍通用 Webhook 使用过程中常见的一些问题和最佳实践。

869 0
|
存储 SQL 机器学习/深度学习
|

智能巡检云监控指标的最佳实践

在真实的企业生产中,对研发和运维的同学都会面临一个十分繁复且艰难的问题,就是对指标的监控和告警。具体我枚举一些特定的问题请对号入座,看看在算力爆炸的时代能否通过算力和算法一起解决!

1231 0
|
存储 SQL 监控
|

PolarDB Lens低调发布:洞悉百TB级云原生数据库

PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库,阿里云日志服务PolarDB Lens围绕其提供了一站式的数据库资产概览、日志采集管理、分析和场景应用落地支持,本文介绍了PolarDB和PolarDB Lens的基本特性,并通过性能实验使读者对PolarDB Lens的功能有一个直观的认知。

1091 2
|
存储 运维 监控
|

Redis Lens 隆重推出:轻松直观的洞察Redis状态

Redis Lens提供集中式Redis实例资产视图,可方便快捷获取数据库的运行日志、慢日志以及审计日志的监控与分析

299 0
|
存储 运维 Prometheus
|

SLS告警管理中心App重磅发布!

SLS发布了一款日志应用:告警管理中心;告警管理中心是一套以业务为中心告警管理运维平台,企业可以将同时将已有的监控告警平台如Zabbix,Prometheus,Datadog等产生的告警和SLS上的Project/Logstore等资源产生的告警添加到告警运维运维中心进行统一的告警管理和通知配置,将相关业务的告警收敛到一个地方进行运维管理,可以有效的提高运维效率。

897 0
|
存储 机器学习/深度学习 编解码
|

阿里云文件存储CPFS实现与OSS之间数据双向便捷流动

阿里云文件存储CPFS现已支持“数据流动”特性。该功能适用于2021年9月29日以后建立的CPFS文件系统。当文件系统启用该特性后,“数据流动”功能可以实现将对象存储OSS的bucket中的数据合并入CPFS进行统一命名空间的元数据管理。用户可以手动或者通过自动Lazy-load能力,将OSS中的数据复制到CPFS中,实现通过POSIX文件接口高速访问OSS中的数据,在保持数据在OSS中低成本存储的同时,获得高性能文件访问能力,满足云上自动驾驶、机器学习、HPC等大数据计算场景的需求。

2815 0
|
存储 弹性计算 容灾
|

【ESSD技术解读-01】 云原生时代,阿里云块存储 ESSD 快照服务如何被企业级数据保护所集成?

本文描述了阿里云块存储快照服务基于高性能 ESSD 云盘提升快照服务性能,提供轻量、实时的用户体验及揭秘背后的技术原理。依据行业发展及云上数据保护场景,为企业用户及备份厂商提供基于快照高级特性的数据保护的技术方案,满足云上用户数据保护的迫切需求,保障云上企业业务连续性。

1444 0
|
机器学习/深度学习 运维 监控
|

用SLS配置日志关键字告警的N种方法

本文主要介绍一种免运维,高性能,支持灵活配置的方案,使用SLS接入日志和告警。

2387 1
|
SQL 存储 监控
|

一分钟完成访问数据的智能巡检告警

本篇文章主要介绍针对访问日志类型的数据如何使用SLS的智能巡检服务,通过简单的业务梳理和SQL的使用,就可以实现智能化的指标巡检。通过简单的告警配置,就可以让丰富的告警信息整体推送到您的钉钉机器人中,交互式的打标让您的巡检结果更满足您的业务场景。

1193 0
|
监控 Linux
|

开放告警接入Zabbix

Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控,同时支持多种告警通知渠道。您可以将日志服务告警系统设为Zabbix的一个通知渠道,由日志服务告警系统完成告警降噪、通知等处理,并且通过包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道发送给用户。

996 0
|
运维 监控
|

SLS新版本告警入门——用户、用户组及值班组

在之前的告警中,如果想要发送通知给某个用户,那么需要配置该用户的手机号或者邮箱。如果有多个告警都需要发送给同一个用户,就需要多次配置手机号和邮箱。假如告警要发给多个人,那么就要配置多个用户的手机号和邮箱。这就存在着诸多痛点。基于以上痛点,在新版本的告警中,加入了用户和用户组的管理,并且在此基础上添加了值班组,从而可以非常方便地进行用户的管理,还能够实现高级的值班功能。

498 0
|
3月前
|
JavaScript 算法 安全
|

基于 WebWorker 的 WebAssembly 图像处理吞吐量深度优化指南

本文深入探讨了基于 WebAssembly (WASM) 和 WebWorker 的高性能图像处理技术,通过优化线程架构与内存管理,实现 4K 图像处理性能比纯 JS 提升 23 倍,同时保持界面流畅(60fps)。文章从技术演进、流水线设计到内存管理实战技巧全面解析,并提供性能瓶颈分析与调优方法。实验表明,在 4K+ 分辨率下,“计算靠近数据”策略可进一步提升性能 40%。最终,方案在生产环境中达成 8K 实时处理 (<30ms/帧),展现浏览器端图像处理的强大潜力。

188 12
|
Linux Shell Windows
|

Linux如何检查文件夹的大小?

在Linux中查看文件夹大小,可使用`du`(如`du -sh *`)、`df`(如`df -h /home`)查看磁盘使用情况,`ncdu`提供交互式浏览,`ls -lh`显示当前目录文件大小,`find`与`du`结合找大文件夹,`tree --du -h`展示目录结构及大小,或用`awk`与`du`组合按大小排序。不同场景下,这些命令各有优势。

764 1
|
安全 网络安全 区块链
|

勒索病毒利如刀,上网备好技能包

网络安全已不是小说电影中遥远的黑客、间谍与烧脑幻想,而是关系到每一个人的切身利益。勒索病毒作为近年来黑客组织牟取暴利的绝佳手段,也是发展最快的网络安全威胁之一。

62367 9
|
运维 Devops 开发工具
|

bug怎样算修完,浅谈团队分布式bug管理 git-poison简单易用的bug管理工具

介绍基于go-git开发实现通用化的git-poison,通过分布式源码管理bug追溯、查询。

46591 16
|
存储 域名解析 弹性计算
|

阿里云VPC内网DNS日志正式接入SLS日志审计服务

内网DNS日志(Intranet DNS Log) 记录了指定阿里云uid下所有VPC网络内终端产生的DNS域名解析请求和应答,终端请求的这些域名既包含了配置在PrivateZone上的内网权威域名,也包含了外部公网域名。为了满足用户可以快速、简单实现多账号、多地域场景下内网DNS日志的采集、管理、中心化查询分析等需求,DNS与SLS联合开发,在SLS日志审计应用中发布一键开启内网DNS日志的功能。

1044 3
|
存储 消息中间件 分布式计算
|

容器持久化存储-容器有状态应用调研报告

容器持久化存储-容器有状态应用调研报告

52085 5
|
监控
|

限制SLS告警通知时段的几种常见方法

在对系统进行监控告警的过程中,有时候并非在任何时候都要接收告警通知,本文会介绍几种常见的限制告警通知时段的方法,以及它们各自所适用的场景。

536 0
|
存储 弹性计算 运维
|

不仅有0.0075元的深度冷归档,更有对下一代云存储的重新定义

阿里云存储的创新活力,不仅拓展了云存储的边界,更为客户如何挖掘数据无限价值方面,带来了更多的可能。11月4日,阿里巴巴集团高级研究员、阿里云智能存储产品线总经理吴结生,在云栖大会上做了《重新定义云存储,释放数据无限价值》的主题分享。

14997 0
|
存储 监控 负载均衡
|

日志审计:多账号下ALB访问日志的自动化采集与监控

本文主要介绍在日志审计下如何开启ALB访问日志的自动化采集与监控

664 0

阿里云文件系统SMB ACL超级用户功能使用指南

阿里云文件系统对于SMB文件系统提供了SMB ACL超级用户功能,可以方便客户在无需改变目录权限的情况下查看和修改任何目录或者任何文件。方便文件系统的管理员进行管理。 以下介绍两个适用SMB ACL超级用户功能的案例,方便用户模仿使用。

475 0
|
分布式计算 Hadoop Java
|

在文件存储HDFS版上使用 TensorFlow

本文介绍如何在文件存储HDFS版上使用 TensorFlow。

926 0
|
消息中间件 监控 安全
|

Log4j漏洞不仅仅是修复,更需要构建有效预警机制

软件的漏洞有时不可避免,根据Gartner的相关统计,到 2025 年,30% 的关键信息基础设施组织将遇到安全漏洞。日志服务SLS,可帮助快速部署一个预警机制,使得漏洞被利用时可以快速发现并及时响应。通过使用阿里云日志服务SLS,只需两步即可完成攻击检测。

2157 0
|
SQL 存储 弹性计算
|

日志审计:多账号下VPC Flow日志的采集与监控

VPC流日志的采集和监控在日志审计下的功能介绍及最佳实践

633 0
|
存储 SQL 机器学习/深度学习
|

零信任策略下云上安全信息与事件管理最佳实践

零信任策略下云上安全信息与事件管理最佳实践

844 0
|
存储 SQL 数据采集
|

可观测性平台下的低代码技术实践——PyCon2021分享

本文介绍阿里云SLS丁来强(花名成喆)在PyCon2021上海站分享时的议题内容,结尾有录播的视频和PPT下载链接。

616 0
|
存储 SQL 运维
|

SLS告警的分组评估最佳实践

监控系统一般包括监控目标(监控实体),监控条件,告警通知,自动修复等系模块,SLS作为云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务;SLS也提供了丰富的监控告警功能,可以针对在日志/时序/Trace数据中进行配置异常告警,比如在Nginx日志中500错误过多,主机时序数据中CPU超过90%需要告警,在告警发出时,往往需要对问题发生的原因进行追溯,需要知道哪些实体在出现了异常,比如哪个域名500错误过多,哪台主机CPU过高等。本文将介绍通过SLS告警监控中的分组评估功能找出异常的实体。

695 0
|
SQL 运维 监控
|

酷!在终端上使用命令行可视化分析日志

运维工程师在通过日志调查问题时,或者通过日志搭建监控系统时,不仅需要查看原始的日志内容,还需要把日志经多深度加工分析,例如计算每分钟的延时,每分钟的流量等等监控。这些数字指标,如果能够通过可视化的手段直观的展示出来,会更直观、有效的理解监控数据。今天我们介绍一种比较简洁、也比较酷的可视化方式,就是在终端上直接通过命令行可视化分析日志。

643 0
|
安全 网络安全
|

国家网络安全宣传周:勒索病毒利如刀,上网备好技能包

近年来,勒索病毒携带着日趋成熟的手段革新和愈发隐蔽、复杂的“进化”能力,开启了“重装上阵”的疯狂模式,“出镜率”大有提高。由于大型政企机构的网络资产价值高,就成了勒索病毒的头号“猎物”。 政企机构信息系统一旦被入侵或被破坏,将会直接危害到业务运营,进而危害到生产安全、社会安全、甚至国家安全。举办网络安全宣传周、提升全民网络安全意识和技能,是国家网络安全工作的重要内容。

737 0
|
SQL 存储 监控
|

基于Scheduled SQL的log4j日志异常事件过滤与分析

采用SLS提供的Scheduled SQL功能,对log4j ERROR日志进行处理并制作可视化报表

601 0
|
消息中间件 存储 负载均衡
|

SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

Kafka 以消息存储系统在业界闻名,近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams(流计算)、ksqlDB(基于 Kafka Streams 的类分析型 DB 系统)。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结,梳理 Kafka Streams 在流处理场景上的设计思路。

698 0
|
存储 运维 NoSQL
|

阿里云表格存储全面升级,打造一站式物联网存储新方案

阿里云表格存储全面升级,打造一站式物联网存储新方案

648 17
|
存储 Prometheus 监控
|

Prometheus 告警管理--企业级Alert Manager

Prometheus作为监控告警的事实标准,提供了标准的指标采集、数据查询以及告警管理开源方案。但是同时在短信、语音、微信等告警通知渠道,告警管理的便捷方面都有缺陷。阿里云日志服务SLS致力于为用户提供统一的可观测性平台,为用户提供了企业级的AlertManager服务,解决客户在告警管理工作中遇到的问题。

1031 0
|
弹性计算 运维 Unix
|

NAS一键挂载介绍

一键挂载支持在NAS控制台查询、挂载和卸载NFS协议文件系统,自动适配Linux版本,应用最佳挂载参数。无须命令行操作,用图形化界面即可轻松管理NFS协议文件系统的挂载状态。

1407 0
|
存储 消息中间件 Cloud Native
|

40年技术发展变革,物联网行业的趋势、现状与挑战

40年技术发展变革,物联网行业的趋势、现状与挑战

1356 1
|
存储 消息中间件 监控
|

释放Trace的价值-SLS OpenTelemetry新功能直击痛点

SLS在2021年4月份正式发布了对OpenTelemetry Trace 1.0版本的支持,完全兼容OpenTelemetry Trace1.0版本的所有字段,提供了Trace显示、分析、拓扑展示等功能。在功能发布后,众多客户开始接入SLS Trace并深度使用,其中对我们也提出来非常多的建议和需求。从中我们提取出了呼声最高的一些功能和优化点,加入到了SLS的Trace方案1.1版本中。

1852 1
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

673 0
|
监控 开发工具
|

阿里云日志服务NetCore SDK Quick Start

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。本文主要演示如何在VS2019中安装及使用SLS NetCore SDK。

3090 0
|
机器学习/深度学习 人工智能 运维
|

全新一代智能运维解决方案,让运维更简单、更智能

阿里云推出全新一代智能运维解决方案,利用大数据为企业日常运维服务,通过可观测数据融合、智能告警与响应中枢,结合机器学习的方法进一步解决自动化运维所未解决的问题,让运维更简单、更智能。

7629 0
|
3月前
|
API Python
|

VIN码查询API的实战指南:获取二手车信息以Python为例

随着机动车保有量上升,中国二手车市场迎来发展机遇。本文介绍如何通过VIN码查询API获取车辆详细信息,提升交易透明度与安全性。

74 1
|
5月前
|
存储 人工智能 文件存储
|

阿里云云存储技术:构建智能时代的数字底座

在数据成为核心资产的时代,阿里云云存储技术为企业提供从数据存储、管理到智能分析的全栈式解决方案。涵盖对象存储(OSS)、块存储、文件存储三大核心服务,支持智能分层、全球加速与数据湖集成等功能。通过极致性能优化、全链路数据安全、绿色低碳存储等六大创新引擎,助力企业实现数字化转型。阿里云云存储不仅满足传统业务需求,还赋能AI训练、混合云灾备、元宇宙等前沿场景,推动数据价值最大化。未来,阿里云将持续探索智能化与无边界化的存储技术,为企业创造更多可能。

486 13
|
8月前
|
存储 边缘计算 网络协议
|

StarTower RIP 技术:重塑智能终端算力生态

在智能终端普及的今天,StarTower 的资源交互证明(RIP)技术通过算力打包、存储和调度,重塑了智能终端算力生态。虚拟化技术和容器化管理统一并优化了算力资源,分布式存储与微隔离技术保障数据安全,SDN 和边缘计算卸载提升了算力交互效率。这一创新为高效利用和共享算力开辟了新道路,引领智能化新时代。

301 70
|
存储 弹性计算 运维
|

数据灾备中心:创新性企业灾备管理服务

阿里云数据灾备中心旨在提供创新的灾备解决方案,确保企业业务连续性和数据安全。面对数据风险,如误删、勒索软件等,即使在公共云上,企业仍需灾备措施。数据灾备中心提供统一管理,通过3-2-1法则实现全面保护,特色包括统一覆盖多种资源、直观的星级评分和3D展示、简化运维流程。未来将推出更多功能,如资源分组评分、一体化策略中心、定制报表和消息中心,以支持不同行业的高要求,如金融、医疗等。

24952 8
|
存储 缓存 人工智能
|

阿里云Alex Chen:数据就像浩瀚的宇宙

数据驱动创新,创新鉴于未来。

6903 2
|
存储 弹性计算 分布式计算
|

SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道

目前,SelectDB Cloud 已上线阿里云,通过与阿里云平台所提供的基础云服务能力深度适配,双方将共同为客户带来极致的大数据相关解决方案。

931 0
我要发布