类目筛选
2024-05-15
746
【最佳实践】主机场景下如何使用ilogtail采集超大规模文件
目标读者数字化系统开发运维（DevOps）工程师、稳定性工程师（SRE）、可观测平台运维人员等。使用场景客户的某些场景下，业务拆分的比较细，每个业务会定时输出一个日志文件（比如每小时输出一个文件），那么在一台机器上，可能会产生大量的日志文件。由于某些原因，用户不想在业务服务器上安装采集端，因此采用比...
746
2024-05-15
410
通过EBS Lens实时监控块存储状态
块存储的监控与运维是非常重要的，EBS Lens针对块存储提供数据分析、资源监控的功能，可以帮助用户获取云上块存储资源信息与性能监控数据、提升云上块存储资源的管理效率、高效分析业务波动与资源性能消耗情况。
410
2024-05-15
370
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
370
2024-05-15
323
Logtail 混合模式：使用插件处理文件日志
作为一个服务百万机器的日志采集 agent，Logtail 目前已经提供了包括日志切分、日志解析（完整正则、JSON、分隔符）、日志过滤在内的常见处理功能，能够应对绝大多数场景的处理需求。但有些时候，由于应用的历史原因或是本身业务日志的复杂性，单一功能可能无法满足所采集日志的处理需求，比如：日志可能...
323
2024-05-15
451
Kubernetes 文件采集实践：Sidecar + hostPath 卷
在Kubernetes 日志查询分析实践中，我们介绍了如何通过 DaemonSet 方式部署 logtail 并采集标准输出/文件两种形式的数据。DaemonSet 部署的优势在于其能够尽可能地减少采集 agent 所占用的资源且支持标准输出采集，但因为每个 DaemonSet pod 需要负责 n...
451
