开发者社区> 云存储> 动手实践

动手实践

关注

支持探索和实践最新技术趋势,不仅包含多样化的实验课程,还涉及技术课程学习、技能测试、实践场景模拟等内容,助力开发者提升实战能力。

0
今日
57
内容
0
活动
2
关注
|
存储 缓存 对象存储
|

通过云存储网关事件告警了解网关使用常见问题

本文通过云存储网关控制台事件告警中心,来说明网关使用过程中一些常见问题及相关的应对方法

164 1
|
存储 弹性计算 Linux
|

“你不干?有的是帕鲁干!”幻兽帕鲁阿里云服务器游戏数据备份

《幻兽帕鲁》无疑是2024年第一款爆火出圈的游戏,阿里云等云厂商也第一时间推出了一键部署多人联机服务器的方案。最近不少用户遇到了游戏坏档的问题,本文介绍如何使用阿里云云备份无门槛、低成本地自动备份幻兽帕鲁服务器,并在需要时一键恢复。

527 2

喜洋洋

使用python画喜洋洋

173 1
|
存储 安全 机器人
|

如何下载阿里云视频点播数据

如何下载阿里云视频点播(VOD)数据

810 0
|
网络协议 安全 数据安全/隐私保护
|

云存储网关SMB共享加入AD域实践

本文通过实践展示了如何将云存储网关中SMB共享加入到AD域来搭建一个WIndow文件共享服务器,以及通过具体的权限配置,来提高文件访问安全性。

603 0
|
存储 测试技术 API
|

百度云磁带库存储架构的设计与实践

传统介质的新气象!百度智能云基于磁带库实现冷数据存储架构。

577 0
|
存储 运维 数据挖掘
|

技术干货:腾讯云为什么选择磁带库?

随着全球冷数据的持续爆炸,以及磁带介质数据密度提升的巨大潜力,磁带库的前景充满想象力。这篇文章讲述了磁带库在腾讯大规模落地的技术故事。

2365 0
|
存储 SQL 运维
|

亿级异构任务调度框架设计与实践

阿里云日志服务作为云原生可观测与分析平台。提供了一站式的数据采集、加工、查询分析、可视化、告警、消费与投递等功能。全面提升用户的研发、运维、运营、安全场景的数字化能力。 日志服务平台作为可观测性平台提供了数据导入、数据加工、聚集加工、告警、智能巡检、导出等功能,这些功能在日志服务被称为任务,并且具有大规模的应用,接下来主要介绍下这些任务的调度框架的设计与实践。

1630 0
|
消息中间件 数据采集 JSON
|

iLogtail社区版使用入门 - iLogtail日志处理实战

本文将会详细介绍使用iLogtail社区版进行日志采集时,对于常见日志格式的处理实战。为了便于调测,以下样例默认将采集到的日志,经过处理后,输出到标准输出,开发者可以根据实际需求进行适当的调整。

3321 0
|
Prometheus 监控 Kubernetes
|

可观测数据采集端的管控方案的简单对比

当前,主流的日志采集产品除了SLS的ilogtail,还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表: 备注: ○ 集群监控:表示工具可以查看管理采集端的运行状态、采集速度等数据 ○ 集群管理:表示工具可以对管理采集端的采集配置、运行参数等进行添加、修改、删除

975 0
|
消息中间件 存储 数据采集
|

iLogtail社区版使用入门 - 主机环境采集业务日志到SLS

本文将会详细介绍如何使用社区版iLogtail,并结合SLS云服务快速构建出一套高可用、高性能的日志采集分析系统

1787 0
|
消息中间件 存储 数据采集
|

iLogtail社区版使用入门 - 如何将业务日志采集到Kafka

本文将会详细介绍如何使用iLogtail社区版将日志采集到Kafka中,从而帮助使用者构建日志采集系统。

1832 0
|
消息中间件 JSON Prometheus
|

云原生日志采集管理方案--Logging Operator

Logging Operator是BanzaiCloud开源的一个云原生场日志采集方案,它整合了fluent 社区的两个开源日志采集器 FluentBit、Fluentd,以 operator 的方式自动化配置 k8s 日志采集pipeline。

1940 0
|
消息中间件 Kubernetes 监控
|

云原生日志采集管理方案--Fluent Operator

Fluent Operator是由KubeSphere 社区于2021年捐献给Fluent 社区的,最初是为了满足以云原生的方式管理 Fluent Bit 的需求。Fluentbit Operator可以灵活且方便地部署、配置及卸载 Fluent Bit 以及 Fluentd。同时, 还提供支持 Fluentd 以及 Fluent Bit 的插件,用户可以根据实际需求进行定制化配置。

1675 0
|
消息中间件 Kubernetes 监控
|

Fluentd/FluentBit K8s日志采集方案介绍

Fluent Bit 是一个开源的多平台日志采集器,旨在打造日志采集处理和分发的通用利器。2014 年,Fluentd 团队预测对于嵌入式 Linux 和 Gateways 等受约束的环境,需要更轻量级的日志处理器,于是便开发了Fluent Bit,并把该项目建设成为Fluentd 生态系统的一部分。

2906 0
|
存储 Kubernetes Cloud Native
|

容器运行时探讨--从dockershim正式从K8s删除说起

2022年05月,Kubernetes 1.24正式发布,比较引人注目的就是在这个版本中正式将dockershim 组件从 kubelet 中删除。从这个版本开始,用户使用Kubernetes时需要优先选择containerd 或 CRI-O作为容器运行时。如果希望继续依赖 Docker Engine 作为容器运行时,需要cri-dockerd组件。

1078 0
|
移动开发 弹性计算 监控
|

使用Terraform玩转logtail日志采集

Logtail是阿里云日志服务SLS提供的日志采集Agent,用于采集阿里云ECS、阿里云ACK、自建IDC、其他云厂商等服务器上的日志。阿里云作为第三大云服务提供商,terraform-alicloud-provider已经支持了包括SLS、OSS、SLB、RDS在内的众多云产品。本文将介绍使用Terraform实现logtail日志自动化采集的最佳实践。

501 0
|
机器学习/深度学习 数据采集 弹性计算
|

Elastic Security调研

Elastic Stack 是由 Elastic公司开发的一系列产品,核心产品包括Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。

1524 0
|
数据采集 消息中间件 监控
|

Elastic端采集统一接入

本文介绍Elastic端采集统一接入。

564 0
|
SQL 存储 监控
|

PostgreSQL导入SLS,从业务到监控数据

PostgreSQL是一款免费的对象-关系数据服务器,在互联网和物联网领域都有广泛的应用场景,PostgreSQL也自称是最强大的开源关系型数据库系统,SLS也在近期上线了PostgreSQL数据源导入功能。本文将介绍如何把PostgreSQL的数据导入SLS,并且从可观测性的角度来介绍下非业务类数据导入的场景。

432 0
|
运维 监控 安全
|

SLS告警通知到Line

Line是一款由NHN Japan(韩国Naver Corporation公司的子公司)在日本推出的即时通信软件,在日韩拥有较大的用户规模。Line支持构建机器人,并且通过API给机器人推送消息,添加了机器人的用户以及群聊就可以接收到机器人推送的消息。但是由于Line的服务器位于海外,SLS的告警无法直接发送通知。因此本文介绍了如何利用阿里云的其他服务来将SLS的告警通知到Line。

703 2
|
SQL 数据可视化 数据挖掘
|

Pandas+ SLS SQL:融合灵活性和高性能的数据透视

Pandas是一个十分强大的python数据分析工具,也是各种数据建模的标准工具。Pandas擅长处理数字型数据和时间序列数据。Pandas的第一大优势在于,封装了一些复杂的代码实现过程,只需要调用接口就行了,避免了编写大量的代码。Pandas的第二大优势在于灵活性,可以实现自动化批量化处理复杂的逻辑,这些工作是Excel等工具是无法完成的。因而Pandas介于Excel和自主编写程序之间,兼具灵活性和简洁性的数据分析工具。

596 0
|
监控 Kubernetes Cloud Native
|

iLogtail社区版开发者指南 - 快速搭建编译和开发环境

想尝鲜最新版iLogtail代码提供的功能?想测试刚给iLogtail添加的代码?如何将iLogtail的开源代码转变为可执行程序是很多小伙伴关心的问题。本文将详细描述iLogtail的编译方法,并利用提供的开发镜像,详细描述如何构建一个高效开发iLogtail的环境。

1196 0
|
SQL 机器学习/深度学习 弹性计算
|

【新功能】智能巡检支持更加灵活的告警

主要介绍如何通过SLS的告警2.0的能力去管理【智能巡检】任务产生的异常事件。通过实体维度和特征纬度的单独配置您需要的告警事件。

543 0
|
存储 Kubernetes 监控
|

开箱即用:多集群下K8s日志集中审计升级

本文主要介绍用户在多个地域下拥有多个ack集群如何开箱即用地对k8s日志进行集中审计、中心化查询。

432 0
|
SQL 存储 弹性计算
|

日志审计:开通RDS PostgreSQL日志采集

日志审计原已支持采集RDS MySQL的审计日志(基于SQL洞察)、慢日志、性能日志、错误日志,随着用户的使用深入,更多用户对RDS PostgreSQL 日志的采集也提出了需求,日志审计率先响应用户需求,现已支持RDS PostgreSQL 审计日志(基于SQL洞察)、慢日志、错误日志。

556 0
|
存储 SQL 缓存
|

表格存储Tablestore-多元索引最佳实践

本文将大量用户和业务在使用表格存储(Tablestore)的多元索引时候遇到的问题总结为最佳实践提供给大家。

971 0
|
存储 人工智能 运维
|

关于运维,阿里云、字节、华科的专家如是说

“欲善新基建,必先利运维”。随着业务走上云端,运维也逐步“云化”。

1348 0
|
存储 监控 算法
|

阿里本地生活全域日志平台 Xlog 的思考与实践

作者:王宇(御田)。当你踏进了编程的领域,代码和日志将是你最重要的伙伴”。基于日志的问题排查是研发效能领域的重要部分,阿里集团本地生活在支撑多生态公司、多技术栈的背景下,逐渐沉淀了一款跨应用、跨域的日志排查方案-Xlog。本文给正在或即将使用 SLS 的同学提供一些参考,帮助更好地落地日志排查方案。

1454 0
|
SQL 消息中间件 canal
|

iLogtail社区版使用入门 - 采集MySQL Binlog

MySQL Binlog记录了MySQL的变更日志,业界也有一些方案来同步Binlog的数据,如Canal、MaxWell、DTS等。不同的工具可以实现不同的目标,iLogtail也提供了便捷的Binlog同步功能,iLogtail采集到Binlog后,可以将结果输出到各类flusher,本文以采集到Kafka为例进行介绍。

551 0
|
机器学习/深度学习 存储 运维
|

Exabeam的UEBA调研

Exabeam的UEBA调研

1862 0
|
Web App开发 机器学习/深度学习 监控
|

Session Replay产品调研分析

Session Replay产品调研分析

917 0
|
存储 JSON 弹性计算
|

SLS控制台日志下载功能全新升级

阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。

1014 0
|
弹性计算 运维 监控
|

【Logtail最佳实践】使用Logtail采集和解析Syslog数据

Syslog是一种行业标准的协议,可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 本文档介绍如何使用Logtail采集和解析Syslog数据。

2663 0
|
存储 人工智能 文件存储
|

聊一聊并行文件系统的客户端优化之道

本文主要介绍阿里云CPFS是如何应对挑战以及对并行文件系统的技术探索与落地实践。

43165 5
|
弹性计算 JSON 监控
|

【最佳实践】使用Logtail采集MQTT协议数据

MQTT是一个为IoT设计的消息协议,是一种轻量级的基于Pub/Sub模式的通信协议,支持物联网设备与服务器之间的双向通信。广泛应用于自动驾驶、智能家居、制造业、电信等领域。 本文主要介绍如何使用日志服务Logtail作为订阅方来采集基于MQTT协议的消息。并将消息内容采集到日志服务的Logstore。

716 0
|
机器学习/深度学习 存储 SQL
|

如何将“智能巡检”嵌入“业务系统”中?

智能巡检借助强大的SLS“告警2.0”消息系统,可以很好的桥接很多内部和外部的系统(EventBridge、FC等),也可以借助SLS的SDK和自定义的函数去解决针对“告警结果”的下一步“分析任务”,从而更好的实现对于问题的排查和解决。

521 0
|
存储 移动开发 人工智能
|

今天的应用架构,正处在一个不可测的阶段

简介: 近几年,“可观测性”这个词在国内的 IT 圈子突然走红,阿里、百度、字节、腾讯等大厂纷纷跟进可观测性建设,更有多家基于可观测技术创业的公司陆续成立,可观测性领域的融资很火爆。这把名为“可观测性”的火,甚至从后端领域,延伸到了大前端,一些移动开发团队希望通过引入“可观测性”概念解决更深层次的应用架构问题,改善性能和业务体验。

426 2
|
存储 Kubernetes 监控
|

【最佳实践】K8s挂载PVC日志采集“轻量级”玩法

本文提供一种相对Sidecar部署更轻量级的采集方式,只需要部署少量的Logtail容器,即可采集不同业务容器的日志。

2155 0
|
SQL 存储 监控
|

数据洞察(2):描述性数据分析在日志场景的落地

随着互联网的极速发展,海量用户产生的海量日志,每天都在急剧膨胀。数据仓库就像一个个油井一样,我们都知道这里边有矿,但是怎么从矿里边挖出有价值的信息,一直是困扰矿主的最大问题。如果缺乏强大的分析工具,或者数据分析能力,积累再多的数据的数仓,都会变成数据坟墓:花了大力气采集过来数据,然后打包放到冷存仓库里边,一直没有任何访问,直到一天磁盘空间满了,把最老的数据清理掉。我们的决策,往往是依赖于个人的经验和直觉,而不是基于数据所呈现给我们的信息。而要从数据中挖掘出有用的信息辅助我们做决策,一方面需要强大的数据分析工具,一方面需要专业的数据分析经验。

496 0
|
存储 监控 安全
|

SLS日志审计2021技术总结

本文概述了过去一年SLS日志审计的技术发展。

947 4
|
数据采集 存储 缓存
|

K8S采集专题-稳定性:iLogtail容器重启数据可靠性探讨

容器场景下iLogtail容器的稳定性对于日志采集的可靠性尤为重要,特别是对于容器重启的情况需要通过特定的配置确保采集状态可恢复。本文简要讲解了iLogtail的状态持久化原理和容器场景状态持久化方案,并详细描述了在K8S和Docker环境下如何配置iLogtail参数和容器参数来解决这种情况下的数据采集的稳定性问题。

2301 0
|
存储 弹性计算 监控
|

半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入

本场景介绍如何通过日志服务数据导入方式,将 OSS 数据导入到日志服务。

515 0
|
存储 弹性计算 监控
|

半天掌握日志存储 云启实验室系列课程 第五讲 | 日志服务之分析用户访问行为

本教程介绍如何使用日志服务采集NGINX日志,创建仪表盘分析用户访问行为。 专家支持:阿里云日志服务技术专家 执少

517 0
|
存储 Web App开发 移动开发
|

半天掌握日志存储 云启实验室系列课程 第四讲 | 日志服务之告警接入与管理

本教程介绍如何使用日志服务接入NGINX模拟数据,并配置告警规则来对NGINX访问错误进行监控。 专家支持:阿里云日志服务技术专家 寂之

448 0
|
存储 数据采集 Web App开发
|

半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖

半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储 专家支持:阿里云日志服务技术专家 王星宇 唐恺

569 0
|
存储 运维 监控
|

最佳实践:使用CloudLens对负载均衡进行全面观测

本文为您介绍使用CloudLens对阿里云负载均衡进行全面观测

511 0
|
存储 Web App开发 移动开发
|

半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计

半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。 专家支持:阿里云日志服务技术专家 灵圣

656 1
我要发布