Logtail从入门到精通(三):机器分组配置

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。

什么是机器分组


上一篇中我们对机器分组进行了简单的介绍,从更通俗的角度讲:机器分组就是一批产生相同日志的机器,一般情况下是一组应用,比如Nginx、MongoDB、HDFS等集群。通常一个机器分组下会产生多种日志,会分别采集到多个logstore。而同时一个机器也可以扮演多种角色(比如同时担当前端和后端的角色,既部署了Nginx也部署了应用worker),因此一个机器也会属于多个机器分组中。所以我们有了以下的机器分组模型:


c4550e27-6622-4349-ba39-dda308b91539.png


机器分组类型


目前我们支持了两种不同的机器分组,分别是IP标识和自定义标识分组。


IP标识机器组


IP标识的机器组通俗易懂,非常易于上手,只需简单的将IP输入到分组里即可完成配置,同时也支持一个分组里面输入多个IP。


c3aa2deb-ef35-4d5e-94f2-0f42834d3d84.png


IP标识的机器组虽然配置简单,但存在非常大的缺陷:不支持动态缩扩容。在实际使用中机器组中机器经常会发生变化(例如机器替换、服务扩容/缩容),尤其在使用弹性伸缩服务、Kubernetes容器服务更为明显,如果没有及时同步更新或忘记配置,新增加的机器便无法采集到日志。


自定义标识机器组


基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。


自定义标识机器分组操作非常简单:机器上设置一个或多个标识,并把机器组配置为自定义标识类型(userdefined-id),输入相应的标识,机器组即会自动匹配。


此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。只需在虚拟机镜像、DockerFile或Kubernetes的yaml模板等提前配置好标识,后续扩容的机器一上线就会立即加入到对应的机器分组中,并根据对应机器分组上的采集配置开始工作。


使用方式


详细使用方式参见自定义标识机器组


步骤一 本地配置


  • Linux Logtail


通过文件 /etc/ilogtail/user_defined_id 来设置userdefined-id。


例如,设置自定义机器标识如下:


cat /etc/ilogtail/user_defined_id
k8s-demo


  • Windows Logtail


通过文件 C:\LogtailData\user_defined_id 来设置userdefined-id。


例如,设置自定义机器标识如下:


C:\LogtailData>more user_defined_id
k8s-demo


注意: 若目录 /etc/ilogtail/C:\LogtailData或文件 /etc/ilogtail/user_defined_idC:\LogtailData\user_defined_id不存在,请手动创建。


  • Docker 应用


如果您在容器中安装Logtail,可以在DockerFile中使用以下方式在发布时配置标识:


RUN mkdir /etc/ilogtail/
RUN echo ${您的机器组自定义标识} > /etc/ilogtail/user_defined_id


  • Kubernetes 集群


K8S使用可以参见Kubernetes日志采集


步骤二 创建自定义标识机器组


  1. 在机器组列表页面单击右上角的创建机器组。
  2. 填写机器组配置。
  • 机器组名称。填写自定义的机器组名称。
  • 机器组标识。选择用户自定义标识。
  • 用户自定义标识。填写步骤一中配置的userdefined-id,例如k8s-demo
  1. 单击确认结束配置。后续扩容无需修改机器组。


60915910-9376-4fdf-900f-6d884a20d434.png


步骤三 查看机器组心跳


在机器组列表页面,单击目标机器组右侧的查看状态,可以查看使用相同自定义标识的机器列表及其心跳状态。


7fbbbbad-6978-4654-ab5c-18042aa0104f.png

若有收获,就点个赞吧

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
钉钉宜搭6月15日版本更新:手写签名和定位组件来啦!
本次版本更新主要针对流程、表单进行了组件能力升级,新增了手写签名和定位2个组件,同时升级地址、人员和部门3个组件。
2899 0
钉钉宜搭6月15日版本更新:手写签名和定位组件来啦!
|
关系型数据库 分布式数据库 数据库
PolarDB 开源基础教程系列 6 开源插件扩展
1、当前环境已安装并支持哪些插件 2、AI外脑插件: vector 3、营销场景目标人群圈选插件: smlar 4、地理信息搜索插件: PostGIS 5、中文分词插件: pg_jieba 6、融合计算插件: duckdb_fdw 7、读写分离工具: pgpool-II
620 5
|
11月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
1273 13
|
存储
CMOS摄像头驱动分析
CMOS摄像头驱动分析
383 0
CMOS摄像头驱动分析
|
存储 虚拟化
VMware ESXI虚拟化安装win10系统
VMware ESXI虚拟化安装win10系统
1603 1
|
存储 Ubuntu
Ubuntu查看系统日志的几种方法
Ubuntu查看系统日志的几种方法
|
iOS开发 测试技术 MacOS
Appium-处理系统弹窗
前言: 最近在搞appium自动化,iOS的系统弹窗是大家都会遇到的,本文来总结处理这种弹窗的用法。 环境: MacOS:10.13.4 Appium-desktop:1.6.1 Xcode:9.3.1 一、使用switch_to.alert处理弹窗 #所有弹窗默认允许 self.driver.switch_to.alert.accept() 首先推荐这种方式,几乎不会失败。
3290 0
|
数据可视化 算法 数据处理
基于PaddleX的镜头缺陷检测
基于PaddleX的镜头缺陷检测
551 0
基于PaddleX的镜头缺陷检测
|
消息中间件 分布式计算 数据挖掘
docker安装 kafka集群
docker安装 kafka集群
776 0
|
机器学习/深度学习 算法 TensorFlow
AI+医疗:使用神经网络进行医学影像识别分析 ⛵
U-Net是一种卷积网络架构,用于快速、精确地分割生物医学图像。本文讲解使用 U-Net 进行肺部影像分割的案例全过程:工具库&环境准备、数据读取、数据切分、TensorFlow IO准备、U-Net 网络构建、评估准则&损失函数、超参数设置&模型编译、回调函数&模型训练、模型加载&新数据预估。【代码与数据集亲测可运行】
5200 1
AI+医疗:使用神经网络进行医学影像识别分析 ⛵