开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
250
内容
0
活动
56
关注
|
SQL 存储 Web App开发
|

日志服务Dashboard加速

阿里云日志服务致力于为用户提供统一的可观测性平台,同时支持日志、时序以及Trace数据的查询存储。用户可以基于收集到的各类数据构建统一的监控以及业务大盘,从而及时发现系统异常,感知业务趋势。但是随着收集到的数据量不断增长,特别是遇到业务峰值的时候,大盘报表展示会产生明显的延迟,无法及时查看重要数据。Scheduled SQL支持定时分析数据、存储聚合数据、投影与过滤数据,并将执行的分析结果存入用户指定的日志库或者时序库中,供用户后续分析使用。由于在聚合后数据量将大大小于之前,因而非常适合进行即时数据分析以及大盘展示。

647 0
|
JSON 监控 机器人
|

详解Splunk新版模拟器SimData

SimData是一种从用户定义的模拟场景中生成模拟数据的工具。SimData不是简单地使用数据样本集来生成重复的模拟数据,而是通过模拟多个系统如何协同工作并互相影响,让用户依据现实世界的情况生成丰富而强大的事件集。具体来讲,SimData通过使具有强大表达能力的简单描述语言(Simple Description Language)来定义模拟逻辑,具有灵活、强大的建模能力。通过将模拟对象建模为实体,并支持模拟实体之间的简单和复杂交互,可以模拟复杂的现实场景。

698 0
|
存储 运维 监控
|

从日志审计角度解读网络数据时代新安全

本文主要从日志审计的角度解读《网络安全法》、《数据安全法》、《等保2.0》等,介绍新数字经济时代,企业用户应如何加强网络安全管理和数据安全治理,全方位地守护企业云上资产及数据安全。

1682 0
|
存储 人工智能 运维
|

AI和大数据结合,智能运维平台助力流利说提升核心竞争力

简介:本文整理自数智创新行——智能运维专场(上海站),流利说最佳实践演讲:《基于SLS千万级在线教育平台统一监控运营实践》

1220 0
|
弹性计算 JSON 监控
|

日志服务SLS开放告警接入云监控

阿里云的云监控服务用于监控阿里云资源和互联网应用,包括阈值告警和事件告警两种模式,支持配置多种告警通知渠道。您可以将日志服务开放告警配置为其中一个通知渠道,从而由日志服务告警系统完成告警降噪、静默等处理,并且接入包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道。

986 0
|
存储 架构师 数据管理
|

免费下载!《云存储应用白皮书》详解创新背后的技术实践

进入21世纪,云存储技术兴起,并成为应对数据洪流的利器。《云存储应用白皮书》作为云存储行业全景式文档,阐述了变革时代之下云存储的三大核心技术趋势,旨在为数字经济从业者提供具有指导性、操作性的参考资料。电子书现已开放下载,即刻收藏阅读吧!

1794 0
|
存储 弹性计算 分布式计算
|

SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道

目前,SelectDB Cloud 已上线阿里云,通过与阿里云平台所提供的基础云服务能力深度适配,双方将共同为客户带来极致的大数据相关解决方案。

987 0
|
消息中间件 SQL 数据采集
|

EventBridge 生态实践:融合 SLS 构建一体化日志服务

本文将从 SLS 在 EventBridge上 的使用以及若干最佳实践场景等方面,为大家介绍如何基于 EventBridge 构建 SLS 相关应用。

518 0
|
存储 运维 Kubernetes
|

SLS告警最佳实践—— K8s事件中心告警管理

K8S事件中心是SLS的日志应用之一,主要记录了集群的状态变更,包括创建Pod、运行Pod、删除Pod、组件异常等。K8S事件中心实时收集K8S中的所有事件并提供存储、查询、分析、可视化与告警能力。K8s事件中心默认也会提供仪表盘和告警,本文主要介绍下如何在ACK控制台和SLS控制台管理K8s事件中心的告警及其区别和使用场景。

1476 0
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1017 0
|
存储 分布式计算 运维
|

Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践

介绍Hadoop 大数据系统在文件存储 HDFS 版上的最佳实践

668 0
|
存储 运维 容灾
|

【CDS技术揭秘系列 01】阿里云CDS-OSS容灾大揭秘

本文主要阐述 CDS 产品中 OSS 服务在容灾方面的部署形态以及实现的其本原理。 容灾功能可以保证用户一份数据在多个地方存在冗余备份,当某个机房出现极端异常(比如物理损毁)情况下,数据也不会出现丢失;也可以保障当某个机房出现不可用(比如断电)时,用户向外提供的功能也基本不受影响。

1591 0
|
存储 设计模式 消息中间件
|

Jaeger插件开发及背后的思考

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法,让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持,欢迎大家试用。

1026 0
|
存储 关系型数据库 MySQL
|

SLS数据加工——动态解析与分发日志实战

阿里云日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。本文为读者带来了数据加工动态解析与分发的最佳实践。

1017 0
|
存储 API PHP
|

兰空图床Typecho上传插件LskyPluginTypechoV2安装及使用教程

【10月更文挑战第1天】本插件基于isYangs、泽泽站长、兔子君、冷寂等前辈的作品,适用于Typecho。教程包括获取API Token、设置插件及上传图片等步骤。

731 0
|
存储 弹性计算 运维
|

数据灾备中心:创新性企业灾备管理服务

阿里云数据灾备中心旨在提供创新的灾备解决方案,确保企业业务连续性和数据安全。面对数据风险,如误删、勒索软件等,即使在公共云上,企业仍需灾备措施。数据灾备中心提供统一管理,通过3-2-1法则实现全面保护,特色包括统一覆盖多种资源、直观的星级评分和3D展示、简化运维流程。未来将推出更多功能,如资源分组评分、一体化策略中心、定制报表和消息中心,以支持不同行业的高要求,如金融、医疗等。

25018 8
|
存储 前端开发 应用服务中间件
|

阿里云对象存储服务OSS前后联调

阿里云对象存储服务OSS前后联调

1163 0
|
存储 安全 对象存储
|

用阿里云对象存储OSS搭建个人网盘或企业网盘的方法

阿里云对象存储OSS是低成本高可靠的存储服务,使用阿里云OSS对象存储搭建个人网盘或企业网盘的方法

1616 0
|
存储 运维 监控
|

一键式开启:IDaaS日志接入SLS日志审计发布

本文主要介绍IDaaS EIAM两种日志(管理操作+用户行为)接入SLS日志审计的最佳实践

452 0
|
存储 人工智能 Cloud Native
|

再谈数据湖3.0:降本增效背后的创新原动力

越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时,数据湖的应用场景也在不断发展,各行各业都在云上构建数据湖,从一开始的简单分析,到互联网搜索推广和深度分析以及近两年大规模的AI训练,都是基于数据湖架构进行的。

13772 25
|
存储 SQL JSON
|

[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结,有错误之处欢迎交流。

915 2
|
存储 SQL Prometheus
|

三款“非主流”日志查询分析产品初探

本文介绍三款 "schema-on-read" 类型日志系统。

663 0
|
存储 JSON 运维
|

使用Terraform玩转SLS告警

Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具,“Write,Plan and Create Infrastructure as Code”,Terraform的命令行接口(CLI)提供了一种简单的机制,用于将配置文件部署到阿里云或者其他任意支持的云上,并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块;强大的功能当然也有自动化配置的需求,本文将介绍如何使用Terraform进行简单的配置,即可完成在无界面的告警配置。

1003 0
|
数据采集 运维 监控
|

Alibaba Cloud Toolkit 中SLS插件助力线上服务问题排查

Alibaba Cloud Toolkit 是一款非常优秀的插件,新增SLS日志服务的功能,针对软件开发者日常工作中常见的问题排查场景,将日志服务平台的功能集成到ide当中,省去了不同窗口之间来回切换的时间,大大提高了日常工作的效率

718 0
|
弹性计算 分布式计算 Hadoop
|

迁移开源HDFS数据到文件存储HDFS版

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS版。

691 0
|
存储 SQL 运维
|

【ESSD技术解读-03】阿里云块存储企业级特性之异步复制

在大数据时代,数据就是企业的核心资产,是企业的生命线。在现实世界中,灾难时有发生,当发生灾难时,容灾能力成为企业能否生存的关键。云上容灾服务,通常称为 DRaaS(灾难恢复即服务)不但能够省去自建容灾中心的开销,还能节省后续运维成本,帮助客户快速建立起跨地域的容灾方案,即买即用,随时释放的特性也为用户提供了极大的弹性。本文介绍了云上容灾产品形态,企业可结合自身特点选择合适的容灾方案,针对异步复制产品解析了传统容灾与云上容灾的技术架构。阿里云块存储也结合自身架构特点实现了块存储的异步复制产品。

1165 0
|
Prometheus 监控 Cloud Native
|

5分钟搞定Loki告警多渠道接入

Loki是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。用户既可以将Loki告警直接接入SLS开放告警,也可以先将Loki接入Grafana或Alert Manager,再借助Grafana或Alert Manager实现Loki间接接入SLS开放告警。

2098 0
|
存储 弹性计算 负载均衡
|

使用Terraform玩转SLS日志审计自动化部署

Terraform是一种开源工具,用于安全高效地预览,配置和管理云基础架构和资源。阿里云的terraform-provider-alicloud目前已经提供了超过 163 个 Resource 和 113 个 Data Source,覆盖计算,存储,网络,负载均衡,CDN,容器服务,中间件,访问控制,数据库等超过35款产品。 本文主要介绍如何使用Terraform自动化部署阿里云日志服务下的日志审计服务。

858 0
|
监控 前端开发
|

SLS新版告警入门——行动策略

SLS新版本告警中,将通知相关的配置统一收拢,从而形成行动策略。行动策略用来管理通知的发送,例如以什么渠道、发送给谁、发送什么内容以及发送通知的时间限制等。通过配置行动策略,可以实现通知的复用,比如多个告警使用相同的行动策略进行通知发送。

799 0
|
Web App开发 数据采集 前端开发
|

什么是Selenium

什么是Selenium

367 0
|
数据采集 运维 监控
|

本地机器安装Logtail接入到阿里云SLS日志服务

本地机器安装Logtail接入到阿里云SLS日志服务

1524 0
|
SQL 运维 监控
|

零基础玩转SLS日志分析 - SLS Data Explorer发布

为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。

1607 0
|
存储 数据采集 消息中间件
|

日志数据入湖的设计与实践

SLS 的队列功能及上下游生态可以为日志入湖提供端到端的支持,要修高速公路(PaaS/SaaS 数据源),也要去做“村村通”(端、开源软件)。 SLS 入湖支持包括四个部分: ● 可靠的采集能力覆盖 ● 弹性的写入与存储能力 ● 日志 ETL 与入湖准备工作 ● 围绕湖生态的模板支持与一键入湖

1050 0
|
机器人
|

智能巡检告警配置最佳实践

智能异常分析的检测结果通过 SLS 告警功能输出到用户配置的通知渠道。在智能巡检场景中,单个任务往往会巡检大量的实体对象,涉及到的对象规则很多,我们通过SLS新版告警可以实现较好的对于巡检事件的管理。

936 0
|
消息中间件 监控 安全
|

Log4j漏洞不仅仅是修复,更需要构建有效预警机制

软件的漏洞有时不可避免,根据Gartner的相关统计,到 2025 年,30% 的关键信息基础设施组织将遇到安全漏洞。日志服务SLS,可帮助快速部署一个预警机制,使得漏洞被利用时可以快速发现并及时响应。通过使用阿里云日志服务SLS,只需两步即可完成攻击检测。

2177 0
|
存储 SQL 运维
|

基于ScheduledSQL实现K8S集群指标预计算

随着云原生的普及,各家公司都通过K8S实现了服务的容器化,极大的简化了开发运维人员的工作,是目前最为常用的基础服务。同时,K8S集群中的各项基础服务能够通过metrics接口导出Prometheus格式的多种指标,方便观察当前系统状态,及时发现问题。用户将K8S集群指标采集到日志服务SLS时序存储之后,可以随时查看系统历史及当前指标,还可以通过SLS内置仪表盘或者Grafana构建监控大盘,方便观察系统情况。但是随着系统规模以及负载成倍增加,复杂的指标查询以及监控大盘的渲染开始变慢,进而影响操作体验。

415 0
|
SQL 存储 监控
|

基于Scheduled SQL的log4j日志异常事件过滤与分析

采用SLS提供的Scheduled SQL功能,对log4j ERROR日志进行处理并制作可视化报表

623 0
|
监控 数据安全/隐私保护
|

阿里云日志服务数据加工实现日志加密解密

AES加密解密

913 0
|
数据采集 移动开发 弹性计算
|

日志审计携手DDoS防护助力云上安全

本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。

722 0
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

710 0
|
数据采集 存储 监控
|

离散型工厂生产制造MES管理系统解决方案

MES 是车间中用以管理和优化从订单下达到产品完工的整个生产过程的硬件和软件的集合,它控制和利用准确的制造信息,对车间生产活动中的实时事件做出快速响应,同时向企业决策支持过程提供相关生产活动的重要信息。

573 0
|
网络协议 算法 网络性能优化
|

关于TCP协议我们需要知道的

TCP协议是OSI模型中的传输层协议,用于建立和维护两个程序间的数据交换连接,以及通过Internet发送信息。TCP协议的主要特点包括面向连接、可靠性、流控制和拥塞控制。其中,三次握手和四次挥手是建立和断开TCP连接的必要过程。此外,TCP协议还提供了流控制机制来控制数据发送方的发送速度,以避免网络拥塞问题。

774 0
|
SQL 存储 机器学习/深度学习
|

2022年AIOps热身赛数据可视化详解

本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。

3389 2
|
SQL 存储 运维
|

SLS 2021年用户体验总结

本文主要作为对2021年SLS产品用户体验改进工作的总结,如您对于产品有任何的建议,可以通过文末的用户体验调研问卷向我们反馈。

694 1
|
存储 对象存储 消息中间件
|

SLS 数据投递 OSS 文章专栏

SLS 投递 OSS 功能介绍、使用帮助、场景实践合集

435 0
|
存储 Prometheus 运维
|

顺滑迁移Prometheus告警到SLS告警

Prometheus作为一个开源的云原生监控系统,具有很广泛的应用场景,通过各种Exporter收集各类设备,应用的指标,将各类指标抽象为时序数据,在Prometheus上可以使用PromQL进行高效的指标查询和分析。SLS告警是云上的一站式告警监控运维平台,支持各种Ops场景。SLS告警系统主要包括指标采集,监控系统,告警管理,通知管理等子系统。本文介绍如何将Prometheus告警无缝转换为SLS告警,并使用SLS告警的管理功能。

1008 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 CDH6

本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版,并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版,实现存储计算分离。

714 0
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache HBase

本文档主要介绍在文件存储HDFS版上使用 Apache HBase 的方法。

318 0
|
存储 SQL 机器学习/深度学习
|

零信任策略下云上安全信息与事件管理最佳实践

零信任策略下云上安全信息与事件管理最佳实践

879 0
|
SQL 存储 监控
|

ScheduledSQL告警配置

为了方便用户观察Scheduled SQL任务的执行情况,日志服务为Scheduled SQL增加了告警功能,本文主要向用户介绍如何开启Scheduled SQL告警,以及追踪任务的执行情况,方便用户及时发现异常情况。

438 0
我要发布