开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
233
内容
0
活动
51
关注
|
存储 缓存 算法
|

[SIGMOD 22 学习]《Adaptive Hybrid Indexes》解读

本文是学习总结,有错误处欢迎交流。

412 0
|
SQL 存储 机器学习/深度学习
|

2022年AIOps热身赛数据可视化详解

本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。

3147 2
|
消息中间件 Kubernetes 监控
|

通用数据库审计K8s部署实践

通用数据库审计是日志服务提供的一种轻量级、低成本数据库安全方案,在之前的文章《自建数据库没有审计方案?试试这套轻量级低成本方案》中介绍了通过部署Logtail和Packetbeat在应用服务器或者数据库服务器上的方法抓取数据库操作行为流量,从而实现数据库审计数据的采集。日志服务提供了开箱即用的审计报表和告警配置。 随着云原生技术的成熟,越来越多的应用部署在云原生环境,云原生环境的动态及灵活性给抓包工具带来了一些困难,本文主要介绍在K8s环境下如何部署这套轻量级、低成本审计方案。

589 0
|
存储 监控 关系型数据库
|

日志审计:开启RDS/PolarDB错误日志采集

本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

624 0
|
SQL 存储 运维
|

SLS 2021年用户体验总结

本文主要作为对2021年SLS产品用户体验改进工作的总结,如您对于产品有任何的建议,可以通过文末的用户体验调研问卷向我们反馈。

570 1
|
文件存储 Windows
|

阿里云文件系统NAS SMB如何修改根目录权限

阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。

801 0
|
存储 对象存储 消息中间件
|

SLS 数据投递 OSS 文章专栏

SLS 投递 OSS 功能介绍、使用帮助、场景实践合集

352 0
|
存储 弹性计算 分布式计算
|

文件存储HDFS版和对象存储OSS双向数据迁移

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

723 0
|
运维 监控 安全
|

SLS告警响应升级——通知对接FC进行自动化操作

阿里云SLS告警响应升级,通知渠道新增了对函数计算的支持,从而可以在告警触发的时候进行一定的自动化响应操作,以便进行故障自愈,减轻手动运维压力,提高系统的可用性。

355 0
|
SQL 存储 弹性计算
|

日志审计:多账号下VPC Flow日志的采集与监控

VPC流日志的采集和监控在日志审计下的功能介绍及最佳实践

495 0
|
SQL 消息中间件 数据采集
|

Trace告警配置最佳实践

阿里云日志服务(SLS)提供了Log,Metric,Trace等三种数据快速接入的能力,同时也提供了丰富的分析功能和可定制化的Dashboard的能力,客户可以利用SLS快速的搭建可观测性平台,让用户更加关注于分析,降低用户接入各类数据的门槛。本文主要讲述应用接入SLS Trace服务后,针对各种场景化如何配置告警。

646 0
|
存储 SQL 机器学习/深度学习
|

零信任策略下云上安全信息与事件管理最佳实践

零信任策略下云上安全信息与事件管理最佳实践

629 0
|
存储 SQL 数据采集
|

可观测性平台下的低代码技术实践——PyCon2021分享

本文介绍阿里云SLS丁来强(花名成喆)在PyCon2021上海站分享时的议题内容,结尾有录播的视频和PPT下载链接。

533 0
|
存储 SQL 运维
|

基于ScheduledSQL实现K8S集群指标预计算

随着云原生的普及,各家公司都通过K8S实现了服务的容器化,极大的简化了开发运维人员的工作,是目前最为常用的基础服务。同时,K8S集群中的各项基础服务能够通过metrics接口导出Prometheus格式的多种指标,方便观察当前系统状态,及时发现问题。用户将K8S集群指标采集到日志服务SLS时序存储之后,可以随时查看系统历史及当前指标,还可以通过SLS内置仪表盘或者Grafana构建监控大盘,方便观察系统情况。但是随着系统规模以及负载成倍增加,复杂的指标查询以及监控大盘的渲染开始变慢,进而影响操作体验。

283 0
|
存储 SQL Prometheus
|

基于访问日志实现OSS监控

对象存储OSS是阿里云提供的云存储服务,能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务,用户需要时刻关注OSS的使用状况,检测异常状态,从而及时作出响应。

716 0
|
JSON 编解码 监控
|

SLS告警重磅更新——让你的告警通知一目了然

SLS告警最近升级了通知的模板语法,在保持对原有模板语法兼容的情况下,增加了动态渲染的功能,不仅支持条件语句、循环语句等控制流,还内置了50+函数,可以非常方便地对数据进行各种处理,从而可以非常灵活方便地对通知内容进行定制,让通知内容呈现的效果更加丰富、内容一目了然。

907 0
|
SQL 存储 监控
|

基于Scheduled SQL的log4j日志异常事件过滤与分析

采用SLS提供的Scheduled SQL功能,对log4j ERROR日志进行处理并制作可视化报表

546 0
|
存储 SQL 机器学习/深度学习
|

基于SLS平台与日志审计构建Cloud SIEM方案

本文介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

1499 0
|
存储 弹性计算 监控
|

日志审计多帐号采集方案升级--资源目录集成

阿里云SLS日志服务集成阿里云资源目录服务,支持跨账号实时自动化、中心化采集阿里云产品日志。

408 0
|
消息中间件 存储 负载均衡
|

SIGMOD 2021《Kafka 流处理对一致性和完整性的设计》解读

Kafka 以消息存储系统在业界闻名,近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams(流计算)、ksqlDB(基于 Kafka Streams 的类分析型 DB 系统)。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结,梳理 Kafka Streams 在流处理场景上的设计思路。

605 0
|
Prometheus 监控 Cloud Native
|

5分钟理解SLS告警通知时机

SLS告警支持丰富的告警管理功能,例如合并抑制静默等功能,跟SLS旧版告警相比增加了很多告警降噪抑制的功能,和用户管理,值班组和可定制复用的内容模板功能。在使用的过程中,因为增加了告警的降噪功能,从告警产生到发送通知这个过程增加了一个告警降噪的过程;因为降噪机制的存在,可能会出现告警触发但不一定会立即发出通知的情况。了解SLS告警通知时机将有助于理解这些情况。

854 0
|
存储 设计模式 消息中间件
|

Jaeger插件开发及背后的思考

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法,让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持,欢迎大家试用。

869 0
|
存储 Prometheus 监控
|

Prometheus 告警管理--企业级Alert Manager

Prometheus作为监控告警的事实标准,提供了标准的指标采集、数据查询以及告警管理开源方案。但是同时在短信、语音、微信等告警通知渠道,告警管理的便捷方面都有缺陷。阿里云日志服务SLS致力于为用户提供统一的可观测性平台,为用户提供了企业级的AlertManager服务,解决客户在告警管理工作中遇到的问题。

889 0
|
弹性计算 运维 Unix
|

NAS一键挂载介绍

一键挂载支持在NAS控制台查询、挂载和卸载NFS协议文件系统,自动适配Linux版本,应用最佳挂载参数。无须命令行操作,用图形化界面即可轻松管理NFS协议文件系统的挂载状态。

1232 0
|
数据采集 移动开发 弹性计算
|

日志审计携手DDoS防护助力云上安全

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

558 0
|
运维 监控
|

现代智能告警运维平台——SLS新版告警学习路径发布

SLS新版告警学习路径发布,汇集目前50+最佳实践的文档、文章和视频 (持续更新)

381 0
|
运维 Kubernetes Cloud Native
|

一份不大的救命文档,一场时间与生死的接力

一份文档,能成为照亮黑暗的灯塔,打开一条求生通道。

985 0
|
机器学习/深度学习 弹性计算 运维
|

一分钟完成ECS机器数据的智能巡检告警

对于运维的日常工作来说,服务器监控是必须且最基础的一项内容。在企业基础设施运维过程中,管理员必须能够掌握所有服务器的运行状况,以便及时发现问题,尽可能减少故障的发生。本次主要介绍如何使用智能巡检,帮助您快速完成机器(ECS)相关指标的监控,降低您设置告警的复杂规则和冗余的设置。

744 0
|
存储 弹性计算 负载均衡
|

使用Terraform玩转SLS日志审计自动化部署

Terraform是一种开源工具,用于安全高效地预览,配置和管理云基础架构和资源。阿里云的terraform-provider-alicloud目前已经提供了超过 163 个 Resource 和 113 个 Data Source,覆盖计算,存储,网络,负载均衡,CDN,容器服务,中间件,访问控制,数据库等超过35款产品。 本文主要介绍如何使用Terraform自动化部署阿里云日志服务下的日志审计服务。

663 0
|
监控 开发工具
|

阿里云日志服务NetCore SDK Quick Start

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。本文主要演示如何在VS2019中安装及使用SLS NetCore SDK。

3010 0
|
监控 数据可视化 测试技术
|

SLS新版告警入门——告警管理编排交互

在之前的告警策略和行动策略相关的文章中,我们可以看到,为了配置各种策略逻辑,使用的都是类似的交互方式,即基于可视化图的表单。本文主要来介绍一下策略图相关的交互和配置。

499 0
|
存储 传感器 SQL
|

可观测系统存储分析最佳实践

分享在北京云峰会智能运维场的主题

956 0
|
机器学习/深度学习 存储 SQL
|

SLS新版告警入门-统一的查询分析语法

SLS新版告警支持多种监控目标,如SLS的日志存储,时序存储;也支持对外部系统如Promethus,Grafana,Zabbix产生的告警进行管理;在对SLS的存储进行监控时,用户可以自定义告警监控规则或者使用内置的告警规则。自定义告警监控规则主要包括监控目标,触发条件,行动配置等。本文主要介绍在创建自定义告警规则时,如何使用统一的查询分析语法来查询并定义监控目标。

1781 0
|
Web App开发 数据采集 前端开发
|

什么是Selenium

什么是Selenium

218 0
|
存储 数据采集 缓存
|

数据中台建设:千万级的瀑布式,和十万级的迭代式,你会选择哪一个?

连接1次孤岛,服务N个场景。Tapdata Live Data Platform (LDP)通过为实时数据集成增加一个高速缓存的方式,将企业核心的常用的数据实时复制到缓存层(最后一次ETL),再从缓存层为企业的多个应用场景快速提供数据, 实现一次打通,多次复用的降本增效价值。Tapdata LDP 现已入驻阿里云云市场。

16120 0
|
存储 弹性计算 分布式计算
|

SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道

目前,SelectDB Cloud 已上线阿里云,通过与阿里云平台所提供的基础云服务能力深度适配,双方将共同为客户带来极致的大数据相关解决方案。

816 0
|
存储 监控 前端开发
|

行动策略过于复杂怎么办?试试下面一些解决方法

随着使用SLS告警越来越深入,有些用户的行动策略会配置的特别复杂,有些时候可以让用户通过创建多个行动策略来进行一定的精简,但是在一些场景下,用户是无法创建多个行动策略的。

236 0
|
监控
|

限制SLS告警通知时段的几种常见方法

在对系统进行监控告警的过程中,有时候并非在任何时候都要接收告警通知,本文会介绍几种常见的限制告警通知时段的方法,以及它们各自所适用的场景。

418 0
|
数据采集 运维 监控
|

本地机器安装Logtail接入到阿里云SLS日志服务

本地机器安装Logtail接入到阿里云SLS日志服务

1315 0
|
存储 运维 监控
|

一键式开启:IDaaS日志接入SLS日志审计发布

本文主要介绍IDaaS EIAM两种日志(管理操作+用户行为)接入SLS日志审计的最佳实践

328 0
|
存储 数据采集 弹性计算
|

一文详解K8s环境下Job类日志采集方案

K8s丰富的controller为分布式任务编排提供了极大的便利,然而任务的时长可能很短(如定时清理数据的任务),甚至有些任务因为一启动就运行失败出现秒退的情况,这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案,分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

480 0
|
存储 人工智能 Cloud Native
|

再谈数据湖3.0:降本增效背后的创新原动力

越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时,数据湖的应用场景也在不断发展,各行各业都在云上构建数据湖,从一开始的简单分析,到互联网搜索推广和深度分析以及近两年大规模的AI训练,都是基于数据湖架构进行的。

13589 25
|
存储 JSON 运维
|

聊聊日志硬扫描,阿里 Log Scan 的设计与实践

SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。

14114 9
|
JSON 运维 Kubernetes
|

K8s场景下Logtail组件可观测方案升级-Logtail事件监控发布

SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller,采用K8s事件的方式,将处理流程中的关键事件透出,从而让用户能够更清楚的感知其中发生的异常。

545 0
|
存储 SQL Prometheus
|

三款“非主流”日志查询分析产品初探

本文介绍三款 "schema-on-read" 类型日志系统。

552 0
|
存储 JSON 运维
|

使用Terraform玩转SLS告警

Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具,“Write,Plan and Create Infrastructure as Code”,Terraform的命令行接口(CLI)提供了一种简单的机制,用于将配置文件部署到阿里云或者其他任意支持的云上,并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块;强大的功能当然也有自动化配置的需求,本文将介绍如何使用Terraform进行简单的配置,即可完成在无界面的告警配置。

750 0
|
机器学习/深度学习 SQL 弹性计算
|

在SLS上进行异常点的绘制

对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点

1306 1
|
存储 监控 负载均衡
|

日志审计:多账号下ALB访问日志的自动化采集与监控

本文主要介绍在日志审计下如何开启ALB访问日志的自动化采集与监控

552 0
|
存储 Prometheus 运维
|

顺滑迁移Prometheus告警到SLS告警

Prometheus作为一个开源的云原生监控系统,具有很广泛的应用场景,通过各种Exporter收集各类设备,应用的指标,将各类指标抽象为时序数据,在Prometheus上可以使用PromQL进行高效的指标查询和分析。SLS告警是云上的一站式告警监控运维平台,支持各种Ops场景。SLS告警系统主要包括指标采集,监控系统,告警管理,通知管理等子系统。本文介绍如何将Prometheus告警无缝转换为SLS告警,并使用SLS告警的管理功能。

805 0
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 对象存储
  • 文件存储 NAS
  • 日志服务
  • 我要发布