日志服务(原SLS)新功能发布(13)--Logtail支持自定义标识自动扩容机器组

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 背景 日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库,具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式,详细描述请参考文档“如何写入日志”。 其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslo

背景

日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库,具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式,详细描述请参考文档“如何写入日志”。

其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslog协议(常见日志收集配置),并且提供80MB/s的大吞吐量,同时性能相比同类工具有10倍提升仅消耗15%的资源(评测文档)。

Logtail客户端使用的一般流程包括三个步骤:创建机器组管理日志数据所在机器、创建日志收集配置、绑定日志收集配置与指定机器组。其中“创建机器组”的默认模式需要用户填写机器(常见为ECS虚拟机,非ECS虚拟机可以参考文档)IP列表,但是在实际使用中机器组机器经常会发生变化,如果没有及时同步更新,新增加的机器无法收集日志,针对这类扩容机器日志问题日志服务发布“自定义机器标识”功能。

示例场景

常见的系统通常由多个模块组成,每个模块可以包含多台机器,比如常见网站分为前端HTTP请求处理模块,缓存模块,逻辑处理模块和存储模块,每部分都可以进行单独的水平扩展,因此在新增机器时需要能够实时进行日志采集。

使用方式

1)创建用户自定义标识

安装完成Logtail客户端后(安装文档),对于示例场景中的模块可以分别分成4类机器标识(http_module/cache_module/logic_module/store_module),并在机器上根据不同机器的作用分别创建指定标识文件

2)创建机器组

创建机器组时“机器组标识”选择“用户自定义标识”,按照模块分类创建4个机器组,并在下方“用户自定义标识”输入框中填入上一步中机器本地创建自定义标识。“http_module”机器组如下图所示:
QQ_20160613183825
完成上述步骤后,可以在机器组“查看状态”中查看使用相同自定义标识的机器列表及其心跳状态,如下图:
QQ_20160613185515
根据上图可以看到10.1.1.1和10.1.1.2两台拥有相同的机器标识,同时两台机器也会同步机器组“http-machine-group”应用的配置。

3)扩容机器

当模块需要扩容机器时,比如前端模块增加机器10.1.1.3,只需要完成步骤1)和2)完成Logtail安装和创建自定义标识为http_module的文件即可自动同步不同机器组的配置,成功执行操作后可以在机器组“查看状态”中看到新增机器。
QQ_20160613194827

相关功能

如果需要在模块中再对机器组进行分类,比如前端模块分别为vip用户normal用户服务,可以使用“机器组Topic”功能设置不同的topic属性,具体使用方式可以参考Logtail配置支持主题(Topic)设置功能

其它

更多日志服务内容请关注产品主页,在日志处理圈子中交流。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
29天前
|
安全 Linux 网络安全
/var/log/secure日志详解
Linux系统的 `/var/log/secure` 文件记录安全相关消息,包括身份验证和授权尝试。它涵盖用户登录(成功或失败)、`sudo` 使用、账户锁定解锁及其他安全事件和PAM错误。例如,SSH登录成功会显示"Accepted password",失败则显示"Failed password"。查看此文件可使用 `tail -f /var/log/secure`,但通常只有root用户有权访问。
87 4
|
1月前
|
运维 监控 数据可视化
日志服务 HarmonyOS NEXT 日志采集最佳实践
鸿蒙操作系统(HarmonyOS)上的日志服务(SLS)SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力,旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。
116774 10
|
1月前
|
监控 Linux 网络安全
/var/log/auth.log日志说明
`/var/log/auth.log`是Linux系统记录身份验证和授权事件的日志文件,包括登录尝试、SSH连接、sudo操作等。系统管理员可通过它监控用户登录、检查失败尝试、跟踪SSH活动、查看sudo/su操作及PAM活动。日志内容可能因系统配置而异,可能存在于其他日志文件中。分析这些日志可使用`tail`、`grep`等命令或专用日志分析工具。了解系统和其服务详情有助于提取有用信息。
47 2
|
1月前
|
安全 Ubuntu Unix
/var/log/syslog日志说明
`/var/log/syslog`是Unix和Linux的日志文件,记录系统事件和消息,由`syslogd`或`rsyslogd`生成。日志条目含时间戳、主机名、PID、日志级别(如DEBUG、ERROR)和事件描述。内容涵盖系统启动/关闭、硬件错误、网络、用户登录、安全事件等。查看日志可使用`cat`、`tail`、`less`或`grep`命令。不过,不同Linux发行版可能有变,如Ubuntu使用`journald`和`journalctl`。
48 3
|
1天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
|
7天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
7天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
83 1
|
9天前
|
弹性计算 运维 Shell
|
15天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
88 0
|
18天前
|
SQL 存储 监控
SLS 查询新范式:使用 SPL 对日志进行交互式探索
像 Unix 命令一样支持多级管道级联,像加工预览一样实时处理查询结果,更便捷的交互,更丰富的算子,更灵活的探索半结构化日志,快来试试使用 SPL 语言查询日志数据吧~
46260 3

相关产品

  • 日志服务