AI 助理
备案控制台
开发者社区 云存储 技术博文 文章 正文

iLogtail使用入门-K8S环境日志采集到SLS

2021-12-31 2019
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
日志服务 SLS，月写入数据量 50GB 1个月
云备份 Cloud Backup，100GB 3个月
简介： iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据，例如日志、跟踪和指标，目前已经正式开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在K8S环境进行安装、配置、使用的最简流程，帮助用户使用预编译版本快速上手ilogtail日志采集。

使用前准备

创建日志配置

  1. 跳转到日志服务控制台(sls.console.aliyun.com)，点击上一节中已经创建的project。

  1. 进入Project查询页面后，点击左侧边栏的“放大镜”图标，展开logstore管理界面，点击“+”，弹出“创建Logstore”右侧边栏。按照提示进行配置，输入logstore名称后，点击“确认”。


  1. logstore创建成功后，取消数据接入向导。点击左侧边栏中的“立方体”按钮，在弹出的“资源”浮层中选择“机器组”。在展开的“机器组”左边栏中，点击右上角的“四方格”图标，在弹出的浮层中选择“创建机器组”。

  1. 在“创建机器组”有侧边栏中按提示配置，“机器组标识”选择“用户自定义标识”，“名称”、“机器组Topic”、“用户自定义标识”建议保持一致。“用户自定义标识”是其中最为重要的一个配置，本教程中使用“my-k8s-group”，后续在安装ilogtail时会再次用到。“点击”确认保存机器组。


  1. 再次点击左侧边栏的“放大镜”图标，展开logstore管理界面，点击第2步中创建的logstore的“向下展开”图标，弹出“配置Logstore”菜单。点击“logtail配置”的“+”按钮。

  1. 在弹出的“快速接入数据”对话框中搜索“kube”，并选择“Kubernertes-文件”。在弹出的“提示”框中单机“继续”。

  1. 在“Kubernertes文件”配置界面，直接选择“使用现有机器组”。

  1. 跳转到“机器组配置”界面，选择第4步中创建的机器组，点击“>”按钮将其加入到“应用机器组”中，然后点击“下一步”。

  1. 在ilogtail配置中仅修改“配置名称”和“日志路径”两个必填项，点击“下一步”确认。

  1. 完成索引配置。这一步不对任何选项进行修改，直接点击下一步完成配置。

此时，整个日志配置已经完成。请保持页面打开。

安装ilogtail

  1. 登陆可以控制K8S集群的中控机。编辑ilogtail的ConfigMap YAML。
$ vim alicloud-log-config.yaml

在Vim中粘贴如下内容并保存（注意，修改注释中提示的字段，7-11行）。

apiVersion: v1
kind: ConfigMap
metadata:  name: alibaba-log-configuration
  namespace: kube-system
data:    log-project: "my-project"#修改为实际project名称    log-endpoint: "cn-wulanchabu.log.aliyuncs.com"#修改为实际endpoint    log-machine-group: "my-k8s-group"#可以自定义机器组名称    log-config-path: "/etc/ilogtail/conf/cn-wulanchabu_internet/ilogtail_config.json"#修改cn-wulanchabu为实际project地域    log-ali-uid: "*********"#修改为阿里云UID    access-key-id: ""#本教程用不上    access-key-secret: ""#本教程用不上    cpu-core-limit: "2"    mem-limit: "1024"    max-bytes-per-sec: "20971520"    send-requests-concurrency: "20"
  1. 计算alicloud-log-config.yaml的sha256 hash，并编辑ilogtail的DaemonSet YAML。
$ sha256sum alicloud-log-config.yaml
f370df37916797aa0b82d709ae6bfc5f46f709660e1fd28bb49c22da91da1214  alicloud-log-config.yaml
$ vim logtail-daemonset.yaml

在Vim中粘贴如下内容并保存（注意，修改注释中提示的字段，21、25行）。

apiVersion: apps/v1
kind: DaemonSet
metadata:  name: logtail-ds
  namespace: kube-system
  labels:    k8s-app: logtail-ds
spec:  selector:    matchLabels:      k8s-app: logtail-ds
  updateStrategy:    type: RollingUpdate
  template:    metadata:      labels:        k8s-app: logtail-ds
        kubernetes.io/cluster-service: "true"        version: v1.0
      annotations:        checksum/config: f370df37916797aa0b82d709ae6bfc5f46f709660e1fd28bb49c22da91da1214 #必须修改为alicloud-log-config.yaml的hash    spec:      containers:      - name: logtail
        image: registry.cn-wulanchabu.aliyuncs.com/log-service/logtail:latest #可以修改为距离k8s集群最近的地域        resources:          limits:            cpu: 2            memory: 1024Mi
          requests:            cpu: 100m
            memory: 256Mi
        livenessProbe:          httpGet:            path: /liveness
            port: 7953            scheme: HTTP
          initialDelaySeconds: 30          periodSeconds: 60        securityContext:          privileged: true        env:          - name: HTTP_PROBE_PORT
            value: "7953"          - name: "ALIYUN_LOGTAIL_CONFIG"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-config-path
          - name: "ALIYUN_LOGTAIL_USER_ID"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-ali-uid
          - name: "ALIYUN_LOGTAIL_USER_DEFINED_ID"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-machine-group
          - name: "ALICLOUD_LOG_ACCESS_KEY_ID"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: access-key-id
          - name: "ALICLOUD_LOG_ACCESS_KEY_SECRET"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: access-key-secret
          - name: "ALICLOUD_LOG_DOCKER_ENV_CONFIG"            value: "true"          - name: "ALICLOUD_LOG_ECS_FLAG"            value: "false"          - name: "ALICLOUD_LOG_DEFAULT_PROJECT"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-project
          - name: "ALICLOUD_LOG_ENDPOINT"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-endpoint
          - name: "ALICLOUD_LOG_DEFAULT_MACHINE_GROUP"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-machine-group
          - name: "ALIYUN_LOG_ENV_TAGS"            value: "_node_name_|_node_ip_"          - name: "_node_name_"            valueFrom:              fieldRef:                fieldPath: spec.nodeName
          - name: "_node_ip_"            valueFrom:              fieldRef:                fieldPath: status.hostIP
# resource limit for logtail self process          - name: "cpu_usage_limit"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: cpu-core-limit
          - name: "mem_usage_limit"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: mem-limit
          - name: "max_bytes_per_sec"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: max-bytes-per-sec
          - name: "send_request_concurrency"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: send-requests-concurrency
        volumeMounts:        - name: sock
          mountPath: /var/run/
        - name: root
          mountPath: /logtail_host
          readOnly: true          mountPropagation: HostToContainer
      terminationGracePeriodSeconds: 30      tolerations:      - operator: "Exists"      hostNetwork: true      dnsPolicy: "Default"      volumes:      - name: sock
        hostPath:          path: /var/run/
      - name: root
        hostPath:          path: /
  1. 应用YAML配置，创建ConfigMap和DaemonSet。
$ kubectl apply -f alicloud-log-config.yaml
configmap/alibaba-log-configuration created
$ kubectl apply -f logtail-daemonset.yaml
daemonset.apps/logtail-ds created
  1. 等待1分钟，检查DeamonSet是否正常运行
$ kubectlget-f logtail-daemonset.yaml

这个时候控制台应该打印出类似以下的消息，代表安装成功

NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
logtail-ds   33333           <none>          2m1s

上报日志并查看

  1. 创建一个用于持续生成日志的Pod。
$ vim demo-pod.yaml

在Vim中粘贴如下内容并保存（注意，可能需要修改注释中提示的字段，8-9行）。

apiVersion: v1
kind: Pod
metadata:  labels:    name: demo-pod
  name: demo-pod
spec:#  imagePullSecrets:          # Comment out to enable specific image pull secret#    - name: myregistrykey    # repleace it to specific registry key containers  containers:    - image: busybox
      imagePullPolicy: IfNotPresent
      name: demo-pod
      command: ["/bin/sh"]      args: ["-c","while true; do echo $(date) >>/tmp/demo.log; sleep 10; done"]      terminationMessagePath: /dev/termination-log
  dnsPolicy: ClusterFirst
  restartPolicy: Always

应用YAML配置，创建Pod

$ kubectl apply -f demo-pod.yaml
pod/demo-pod created
  1. 回到Web控制台，点击配置完成界面的“查询日志”跳转到日志查询界面。点击页面左侧的“放大镜”图标，选中logstore，点击“眼睛”图标，在左侧出现的“消费预览”侧边栏中尝试调整Shard和时间范围，点击预览查看上报的日志。

What's Next

你可以进入下一节学习《ilogtail使用入门-iLogtail本地部署方案》

了解容器采集原理《通过DaemonSet-控制台方式采集容器标准输出》

也可以学习ilogtail采集的更多用法：

文章标签：
容器服务Kubernetes版
日志服务
Perl
开发工具
容器
索引
监控
Kubernetes
关键词：
日志服务采集
入门容器服务Kubernetes版
入门日志服务
容器服务Kubernetes版入门
容器服务Kubernetes版环境
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用，部署一个新的应用用于新的发布，并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程，本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术，这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时，本课程也会向您介绍可以采取的工具、方法和可操作步骤，以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后，您将能够： 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
余韬(迅飞)
目录
相关文章
蓝染-惣右介
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法，重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层，允许开发者使用统一的日志接口，而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback，推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback，以及如何使用Lombok简化日志记录。最后，提供了一些日志配置的最佳实践，包括滚动日志、统一日志格式和提高日志性能的方法。
蓝染-惣右介
427 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
运维有小邓
|
22天前
|
监控 安全 Apache
什么是Apache日志？为什么Apache日志分析很重要？
Apache是全球广泛使用的Web服务器软件，支持超过30%的活跃网站。它通过接收和处理HTTP请求，与后端服务器通信，返回响应并记录日志，确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志，对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志，增强Web服务的安全性和可靠性。
运维有小邓
42 9
最好zzz
|
3月前
|
XML JSON Java
Logback 与 log4j2 性能对比：谁才是日志框架的性能王者？
【10月更文挑战第5天】在Java开发中，日志框架是不可或缺的工具，它们帮助我们记录系统运行时的信息、警告和错误，对于开发人员来说至关重要。在众多日志框架中，Logback和log4j2以其卓越的性能和丰富的功能脱颖而出，成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比，通过详细的分析和实例，帮助大家理解两者之间的性能差异，以便在实际项目中做出更明智的选择。
最好zzz
354 3
运维有小邓
|
1月前
|
存储 监控 安全
什么是事件日志管理系统？事件日志管理系统有哪些用处？
事件日志管理系统是IT安全的重要工具，用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志，如防火墙、路由器、交换机等，帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型，包括Windows事件日志、Syslog日志和应用程序日志，通过实时监测、告警及可视化分析，为企业提供强大的安全保障。然而，实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具，不仅提供实时监测与告警、可视化分析和报告功能，还支持多种合规性报告，帮助企业克服挑战，提升网络安全水平。
运维有小邓
65 2
绿水长流*z
|
3月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现，而持久性则依赖于事务日志中的`Redo Log`。在MySQL中，`Redo Log`确保已提交事务的数据能持久保存，即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改，待事务提交时写入磁盘。此外，`Redo Log`采用简单的物理日志格式和高效的顺序IO，确保快速提交。通过不同的落盘策略，可在性能和安全性之间做出权衡。
绿水长流*z
1738 14
运维有小邓
|
2月前
|
存储 监控 安全
什么是日志管理，如何进行日志管理？
日志管理是对IT系统生成的日志数据进行收集、存储、分析和处理的实践，对维护系统健康、确保安全及获取运营智能至关重要。本文介绍了日志管理的基本概念、常见挑战、工具的主要功能及选择解决方案的方法，强调了定义管理目标、日志收集与分析、警报和报告、持续改进等关键步骤，以及如何应对数据量大、安全问题、警报疲劳等挑战，最终实现日志数据的有效管理和利用。
运维有小邓
141 0
java冯坚持
|
3月前
|
Arthas 监控 Java
JVM知识体系学习七：了解JVM常用命令行参数、GC日志详解、调优三大方面（JVM规划和预调优、优化JVM环境、JVM运行出现的各种问题）、Arthas
这篇文章全面介绍了JVM的命令行参数、GC日志分析以及性能调优的各个方面，包括监控工具使用和实际案例分析。
java冯坚持
86 3
阿里云开发者
|
4月前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器，对 Kubernetes 环境下日志采集有着非常好的支持，本文跟随 iLogtail 的脚步，了解容器运行时与 K8s 下日志数据采集原理。
阿里云开发者
148 7
摩诃般若
|
3月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
摩诃般若
47 0
zzy的aly
|
3月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程，包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
zzy的aly
297 0
云存储

技术博文

热门文章

最新文章

  • 1
    U盘文件损坏且无法读取怎么修复？五个方法帮你搞定
  • 2
    【qemu虚拟化】将img镜像文件转换为VMware虚拟机
  • 3
    SMB协议基础篇
  • 4
    【推荐几款实用的网盘资源搜索引擎】
  • 5
    OSS 深度解析：Data + AI 时代的对象存储
  • 6
    用软硬协同设计下的飞天盘古降低存储系统开销
  • 7
    【提取翻译竖排文字日文图片的软件】竖排的日语图片文字识别翻译，竖排的日语图片文字如何识别，竖排日语图片识别后转横排，竖排的日语识别比较友好的方法
  • 8
    详解开源数据库审计平台Yearning
  • 9
    5分钟搞定AlertManager接入短信、语音等10+种通知渠道
  • 10
    盘点监控系统中的告警智能降噪方案
  • 1
    2025年，Web3开发学习路线全指南
    85
  • 2
    CPFS深度解析：并行文件存储加速AI创新
    153
  • 3
    EBS深度解析：云原生时代企业级块存储
    134
  • 4
    磁盘的物理组成
    104
  • 5
    如何配置Windows主机MPIO多路径访问存储系统
    117
  • 6
    阿里云WoSign SSL证书申请指南_沃通SSL技术文档
    2299
  • 7
    OSS 深度解析：Data + AI 时代的对象存储
    516
  • 8
    兰空图床Typecho上传插件LskyPluginTypechoV2安装及使用教程
    109
  • 9
    数据湖面向AI场景的进化
    212
  • 10
    电视盒子部署云相册
    98

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 相关实验场景

    更多
  • 在ACK Serverless中部署Stable Diffusion应用
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用ACK Serverless容器化部署大语言模型FastChat
  • 使用日志服务SLS进行OSS可观测分析

    • 推荐镜像

    更多
  • kubernetes
  • docker-ce
  • ceph
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月