AI 助理
文档备案控制台
开发者社区 云存储 技术博文 文章 正文

iLogtail使用入门-K8S环境日志采集到SLS

2021-12-31 2665
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据，例如日志、跟踪和指标，目前已经正式开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在K8S环境进行安装、配置、使用的最简流程，帮助用户使用预编译版本快速上手ilogtail日志采集。

使用前准备

创建日志配置

  1. 跳转到日志服务控制台(sls.console.aliyun.com)，点击上一节中已经创建的project。

  1. 进入Project查询页面后，点击左侧边栏的“放大镜”图标，展开logstore管理界面，点击“+”，弹出“创建Logstore”右侧边栏。按照提示进行配置，输入logstore名称后，点击“确认”。


  1. logstore创建成功后，取消数据接入向导。点击左侧边栏中的“立方体”按钮，在弹出的“资源”浮层中选择“机器组”。在展开的“机器组”左边栏中，点击右上角的“四方格”图标，在弹出的浮层中选择“创建机器组”。

  1. 在“创建机器组”有侧边栏中按提示配置，“机器组标识”选择“用户自定义标识”，“名称”、“机器组Topic”、“用户自定义标识”建议保持一致。“用户自定义标识”是其中最为重要的一个配置，本教程中使用“my-k8s-group”，后续在安装ilogtail时会再次用到。“点击”确认保存机器组。


  1. 再次点击左侧边栏的“放大镜”图标，展开logstore管理界面，点击第2步中创建的logstore的“向下展开”图标，弹出“配置Logstore”菜单。点击“logtail配置”的“+”按钮。

  1. 在弹出的“快速接入数据”对话框中搜索“kube”，并选择“Kubernertes-文件”。在弹出的“提示”框中单机“继续”。

  1. 在“Kubernertes文件”配置界面，直接选择“使用现有机器组”。

  1. 跳转到“机器组配置”界面，选择第4步中创建的机器组，点击“>”按钮将其加入到“应用机器组”中，然后点击“下一步”。

  1. 在ilogtail配置中仅修改“配置名称”和“日志路径”两个必填项，点击“下一步”确认。

  1. 完成索引配置。这一步不对任何选项进行修改，直接点击下一步完成配置。

此时，整个日志配置已经完成。请保持页面打开。

安装ilogtail

  1. 登陆可以控制K8S集群的中控机。编辑ilogtail的ConfigMap YAML。
$ vim alicloud-log-config.yaml

在Vim中粘贴如下内容并保存（注意，修改注释中提示的字段，7-11行）。

apiVersion: v1
kind: ConfigMap
metadata:  name: alibaba-log-configuration
  namespace: kube-system
data:    log-project: "my-project"#修改为实际project名称    log-endpoint: "cn-wulanchabu.log.aliyuncs.com"#修改为实际endpoint    log-machine-group: "my-k8s-group"#可以自定义机器组名称    log-config-path: "/etc/ilogtail/conf/cn-wulanchabu_internet/ilogtail_config.json"#修改cn-wulanchabu为实际project地域    log-ali-uid: "*********"#修改为阿里云UID    access-key-id: ""#本教程用不上    access-key-secret: ""#本教程用不上    cpu-core-limit: "2"    mem-limit: "1024"    max-bytes-per-sec: "20971520"    send-requests-concurrency: "20"
  1. 计算alicloud-log-config.yaml的sha256 hash，并编辑ilogtail的DaemonSet YAML。
$ sha256sum alicloud-log-config.yaml
f370df37916797aa0b82d709ae6bfc5f46f709660e1fd28bb49c22da91da1214  alicloud-log-config.yaml
$ vim logtail-daemonset.yaml

在Vim中粘贴如下内容并保存（注意，修改注释中提示的字段，21、25行）。

apiVersion: apps/v1
kind: DaemonSet
metadata:  name: logtail-ds
  namespace: kube-system
  labels:    k8s-app: logtail-ds
spec:  selector:    matchLabels:      k8s-app: logtail-ds
  updateStrategy:    type: RollingUpdate
  template:    metadata:      labels:        k8s-app: logtail-ds
        kubernetes.io/cluster-service: "true"        version: v1.0
      annotations:        checksum/config: f370df37916797aa0b82d709ae6bfc5f46f709660e1fd28bb49c22da91da1214 #必须修改为alicloud-log-config.yaml的hash    spec:      containers:      - name: logtail
        image: registry.cn-wulanchabu.aliyuncs.com/log-service/logtail:latest #可以修改为距离k8s集群最近的地域        resources:          limits:            cpu: 2            memory: 1024Mi
          requests:            cpu: 100m
            memory: 256Mi
        livenessProbe:          httpGet:            path: /liveness
            port: 7953            scheme: HTTP
          initialDelaySeconds: 30          periodSeconds: 60        securityContext:          privileged: true        env:          - name: HTTP_PROBE_PORT
            value: "7953"          - name: "ALIYUN_LOGTAIL_CONFIG"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-config-path
          - name: "ALIYUN_LOGTAIL_USER_ID"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-ali-uid
          - name: "ALIYUN_LOGTAIL_USER_DEFINED_ID"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-machine-group
          - name: "ALICLOUD_LOG_ACCESS_KEY_ID"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: access-key-id
          - name: "ALICLOUD_LOG_ACCESS_KEY_SECRET"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: access-key-secret
          - name: "ALICLOUD_LOG_DOCKER_ENV_CONFIG"            value: "true"          - name: "ALICLOUD_LOG_ECS_FLAG"            value: "false"          - name: "ALICLOUD_LOG_DEFAULT_PROJECT"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-project
          - name: "ALICLOUD_LOG_ENDPOINT"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-endpoint
          - name: "ALICLOUD_LOG_DEFAULT_MACHINE_GROUP"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: log-machine-group
          - name: "ALIYUN_LOG_ENV_TAGS"            value: "_node_name_|_node_ip_"          - name: "_node_name_"            valueFrom:              fieldRef:                fieldPath: spec.nodeName
          - name: "_node_ip_"            valueFrom:              fieldRef:                fieldPath: status.hostIP
# resource limit for logtail self process          - name: "cpu_usage_limit"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: cpu-core-limit
          - name: "mem_usage_limit"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: mem-limit
          - name: "max_bytes_per_sec"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: max-bytes-per-sec
          - name: "send_request_concurrency"            valueFrom:              configMapKeyRef:                name: alibaba-log-configuration
                key: send-requests-concurrency
        volumeMounts:        - name: sock
          mountPath: /var/run/
        - name: root
          mountPath: /logtail_host
          readOnly: true          mountPropagation: HostToContainer
      terminationGracePeriodSeconds: 30      tolerations:      - operator: "Exists"      hostNetwork: true      dnsPolicy: "Default"      volumes:      - name: sock
        hostPath:          path: /var/run/
      - name: root
        hostPath:          path: /
  1. 应用YAML配置，创建ConfigMap和DaemonSet。
$ kubectl apply -f alicloud-log-config.yaml
configmap/alibaba-log-configuration created
$ kubectl apply -f logtail-daemonset.yaml
daemonset.apps/logtail-ds created
  1. 等待1分钟，检查DeamonSet是否正常运行
$ kubectlget-f logtail-daemonset.yaml

这个时候控制台应该打印出类似以下的消息，代表安装成功

NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
logtail-ds   33333           <none>          2m1s

上报日志并查看

  1. 创建一个用于持续生成日志的Pod。
$ vim demo-pod.yaml

在Vim中粘贴如下内容并保存（注意，可能需要修改注释中提示的字段，8-9行）。

apiVersion: v1
kind: Pod
metadata:  labels:    name: demo-pod
  name: demo-pod
spec:#  imagePullSecrets:          # Comment out to enable specific image pull secret#    - name: myregistrykey    # repleace it to specific registry key containers  containers:    - image: busybox
      imagePullPolicy: IfNotPresent
      name: demo-pod
      command: ["/bin/sh"]      args: ["-c","while true; do echo $(date) >>/tmp/demo.log; sleep 10; done"]      terminationMessagePath: /dev/termination-log
  dnsPolicy: ClusterFirst
  restartPolicy: Always

应用YAML配置，创建Pod

$ kubectl apply -f demo-pod.yaml
pod/demo-pod created
  1. 回到Web控制台，点击配置完成界面的“查询日志”跳转到日志查询界面。点击页面左侧的“放大镜”图标，选中logstore，点击“眼睛”图标，在左侧出现的“消费预览”侧边栏中尝试调整Shard和时间范围，点击预览查看上报的日志。

What's Next

你可以进入下一节学习《ilogtail使用入门-iLogtail本地部署方案》

了解容器采集原理《通过DaemonSet-控制台方式采集容器标准输出》

也可以学习ilogtail采集的更多用法：

文章标签：
容器服务Kubernetes版
日志服务
Perl
开发工具
容器
索引
监控
Kubernetes
关键词：
日志服务采集
日志服务sls
采集日志服务
容器服务Kubernetes版环境
入门容器服务Kubernetes版
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
双鱼座的猫斯基-20148
目录
相关文章
阿里云计算巢-壬云
|
缓存 Kubernetes Docker
GitLab Runner 全面解析：Kubernetes 环境下的应用
GitLab Runner 是 GitLab CI/CD 的核心组件，负责执行由 `.gitlab-ci.yml` 定义的任务。它支持多种执行方式（如 Shell、Docker、Kubernetes），可在不同环境中运行作业。本文详细介绍了 GitLab Runner 的基本概念、功能特点及使用方法，重点探讨了流水线缓存（以 Python 项目为例）和构建镜像的应用，特别是在 Kubernetes 环境中的配置与优化。通过合理配置缓存和镜像构建，能够显著提升 CI/CD 流水线的效率和可靠性，助力开发团队实现持续集成与交付的目标。
阿里云计算巢-壬云
1962 6
阿里云云原生
|
8月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践：链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS)，解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent（iLogtail/LoongCollector）在海外场景的应用，推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案，包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等，并提供了成本优化策略和多目标发送配置指导，帮助企业构建稳定、低成本、高可用的全球日志系统。
阿里云云原生
907 54
运维有小邓
|
监控 安全 Apache
什么是Apache日志？为什么Apache日志分析很重要？
Apache是全球广泛使用的Web服务器软件，支持超过30%的活跃网站。它通过接收和处理HTTP请求，与后端服务器通信，返回响应并记录日志，确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志，对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志，增强Web服务的安全性和可靠性。
运维有小邓
415 9
qhhf_地道酬勤
|
11月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程；binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景；查询日志、慢查询日志、错误日志等其他几类日志
qhhf_地道酬勤
892 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
SlackClimb
|
11月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log（重做日志）是数据库中用于记录数据页修改的物理日志，确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式，在内存中缓存修改操作，并在适当时候刷入磁盘，减少随机写入带来的性能损耗。WAL（Write-Ahead Logging）技术的核心思想是先将修改操作记录到日志文件中，再择机写入磁盘，从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数（如 `innodb_flush_log_at_trx_commit`），以平衡性能与数据安全性。
SlackClimb
581 5
图解MySQL【日志】——Redo Log
蓝易云
|
10月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件，可以快速定位和解决问题，确保Tomcat服务器的稳定运行。掌握这些日志解析技巧，可以显著提高运维和开发效率。
蓝易云
1130 13
1239859226203423
|
10月前
|
缓存 Java 编译器
Mac如何查看 IDEA 的日志文件Mac如何查看 IDEA 的日志文件
Mac如何查看 IDEA 的日志文件
1239859226203423
401 16
绿水长流*z
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证，原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误，需要把前面已经执行过的SQL撤销以达到原子性的目的，这个过程也叫做"回滚"，所以Undo Log也叫回滚日志。
绿水长流*z
674 7
MySQL事务日志-Undo Log工作原理分析
运营研究坊
|
10月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志（Redo Log、Binlog和Undo Log）各有什么区别
在MySQL数据库管理中，理解Redo Log（重做日志）、Binlog（二进制日志）和Undo Log（回滚日志）至关重要。Redo Log确保数据持久性和崩溃恢复；Binlog用于主从复制和数据恢复，记录逻辑操作；Undo Log支持事务的原子性和隔离性，实现回滚与MVCC。三者协同工作，保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况，帮助深入理解数据库日志机制。
运营研究坊
1251 0
云存储

技术博文

热门文章

最新文章

  • 1
    【推荐几款实用的网盘资源搜索引擎】
  • 2
    SMB协议基础篇
  • 3
    2025年，Web3开发学习路线全指南
  • 4
    一招解决开发环境问题——远程容器开发指南
  • 5
    【qemu虚拟化】将img镜像文件转换为VMware虚拟机
  • 6
    如何使用基站查询API帮你解析地理位置？
  • 7
    银行卡归属地及开户行查询API查询实战指南
  • 8
    商品条码查询 API 实战指南：掌握商品“唯一身份标识”
  • 9
    【CDS技术揭秘系列 总篇】阿里云的云定义存储来了
  • 10
    U盘文件损坏且无法读取怎么修复？五个方法帮你搞定
  • 1
    【服务器数据恢复】H3C华三Ceph分布式存储文件丢失数据恢复案例
    120
  • 2
    基于 Cloudflare Workers 构建高性能知识库镜像服务：反向代理与 HTML 动态重写实践
    859
  • 3
    银行卡归属地及开户行查询API查询实战指南
    1702
  • 4
    银行卡三要素API实践指南：实现交易安全闭环
    525
  • 5
    手机空号检测API：接口技术详解
    888
  • 6
    全国空气质量查询API：让空气质量数据成为智慧生活的基石（含Python接入指南）
    494
  • 7
    银行卡联行号查询API：在风控中的落实践
    621
  • 8
    如何利用运营商在网状态查询API进行有效的筛选电话号码？实践指南
    408
  • 9
    人车关系核验 API：核验一致性的Python调用指南
    264
  • 10
    车辆五项信息查询 API 的实践指南：通过Python调用赋能车辆信息标准化
    400

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    基于JAVA的高校宿舍管理系统的设计与实现(论文+源码)_kaic