企业级运维之云原生与Kubernetes实战课程
第二章第6讲 阿里云容器服务集群日志与监控
视频地址：https://developer.aliyun.com/learning/course/913/detail/14649
摘要：本小节主要内容为K8s日志服务与监控，包括日志服务简介、日志服务采集、集群监控。
目录
- 日志服务简介
- 日志服务采集
- 集群监控
一、日志服务简介
1. 日志服务是什么？
日志服务(Log Service，简称SLS)是针对日志类数据的一站式服务，在阿里巴巴集团经历大量大数据场景锤炼而成，无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立DT时代海量日志处理能力。
2. 实时采集与消费 (LogHub)
- 功能
- 通过ECS、容器、移动端、开源软件、JS等接入实时日志数据(例如Metric. Event、BinLog、TextLog等)。
- 提供实时消费接口，与实时计算及服务对接。
- 用途
- 数据清洗 (ETL)、流计算(Stream Compute)、监控与报警、机器学习与迭代计算。
3. 查询与实时分析 (LogSearch/Analytics)
- 功能：实时索引、查询分析数据。
- 查询：关键词查询、模糊查询、上下文查询、精确查询；
- 统计： SQL聚合等丰富的统计手段；
- 可视化：仪表盘和报表功能；
- 对接：支持基于JDBC、SQL92等协议与Grafana产品无缝对接；
- 用途
- DevOps线上运维、日志实时数据分析、安全诊断与分析、运营与客服系统。
4. 投递数仓 (LogShipper)
- 功能
- 稳定可靠的日志投递；
- 将日志中枢数据投递至存储类服务进行存储。支持压缩、自定义Partition、以及行列等各种存储方式；
- 用途
- 数据仓库、数据分析、审计、推荐系统与用户画像。
二、日志服务采集
1. 通过日志服务采集K8s容器日志
a. 启用日志服务组件Logtail。
- 在创建集群时可以直接开启，也可以为已有集群启用Logtail。
b. 通过YAML模板创建应用并配置日志采集。
- 为了给容器指定采集配置，需要使用Env来为容器增加采集配置和自定义Tag，并根据采集配置，创建对应的volumeMounts和volumes。
YAML示例：
apiVersion: v1
kind: Pod
metadata:
name: my-demo
spec:
containers:
- name: my-demo-app
image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
env:
######### 配置环境变量 ###########
- name: aliyun_logs_log-stdout
value: stdout
- name: aliyun_logs_log-varlog
value: /var/log/*.log
- name: aliyun_logs_mytag1_tags
value: tag1=v1
###############################
######### 配置volume mount ###########
volumeMounts:
- name: volumn-sls-mydemo
mountPath: /var/log
volumes:
- name: volumn-sls-mydemo
emptyDir: {}
###############################
参考地址：https://help.aliyun.com/document_detail/87540.html
示例解析：
通过环境变量来创建采集配置和自定义Tag，所有与配置相关的环境变量都采用aliyun_logs_作为前缀。
创建采集配置的规则如下：
-name：aliyun logs_{Logstore名称}
value：{日志采集路径}
示例中创建了两个采集配置，其中aliyun_logs_log-stdout这个env表示创建一个Logstore名字为log-stdout，日志采集路径为stdout的配置，从而将容器的标准输出采集到log-stdout这个Logstore中。
创建自定义Tag的规则如下：
-name：aliyun_logs_{任意不包含‘_’的名称}
tagsvalue：{Tag名}={Tag值}
配置Tag后，当采集到该容器的日志时，会自动附加对应的字段到日志服务。采集配置中指定了非stdout的采集路径，需要在此部分创建相应的volumeMounts。示例中采集配置添加了对/var/log/*.log的采集，因此相应地添加了/var/log的volumeMounts。
2. 配置环境变量的高级参数
通过容器环境变量配置采集支持多种配置参数，可根据实际需求设置高级参数来实现日志采集的特殊需求，如下图。
3. 采集容器日志异常排查思路
a. 确认机器组状态是否正常；
b. 检查采集配置标识是否正确，检查配置中IncludeLabel、ExcludeLabel、IncludeEnv、ExcludeEnv是否和您需要采集的容器配置匹配。
c. 检查其他注意事项；
若配置采集容器内文件，请注意：
- 若下发采集配置后文件没有修改事件，Logtail则不采集；
- 采集容器日志文件，只支持采集容器默认存储或挂载到本地的文件，暂不支持其他存储方式；
d. 登录Logtail容器排查；
- 执行kubectl get po -n kube-system | grep logtail搜索Logtail的Pod；
- 执行kubectl exec -it -n kube-system ****** bash登录Pod。
e. 查看Logtail的运行日志；
- 打开Logtail容器目录/usr/local/ilogtail/，查看文件ilogtail.LOG和logtail_plugin.LOG。
f. 查看Kubernetes集群中日志相关组件状态；
- 执行命令helm status alibaba-log-controller，可以查看Kubernetes集群中日志相关组件状态。
三、集群监控
1. 基础资源监控
资源监控是Kubernetes中最常见的监控方式，通过资源监控，可以快速查看负载的CPU、内存、网络等指标的使用率。在阿里云容器服务中，资源监控已经与云监控互通，新建的集群默认安装与集成云监控。
操作步骤：
- 登录容器服务管理控制台；
- 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；
- 在集群管理页左侧导航栏中，单击工作负载；
- 在页面上方选择命名空间，单击无状态页签；
- 选择所需的Deployment，单击右侧的监控，进入到云监控的相应的监控视图页面；
- 单击维度中的分组或实例，分别通过两个维度查看监控数据；
- 可选：如需设置告警，您可以在左侧导航栏单击报警规则并进行设置，详情请参见管理报警规则。分组级别的指标以group开头，实例级别的指标以Pod开头。
2. 阿里云Prometheus监控
开源Prometheus监控和K8s容器编排系统一样都是云原生基金会CNCF开源毕业的项目。
- 阿里云Prometheus监控全面对接开源Prometheus生态，支持类型丰富的组件监控，提供多种开箱即用的预置监控大盘，且提供全面托管的Prometheus服务。借助阿里云Prometheus监控，用户无需自行搭建Prometheus监控系统，因而无需关心底层数据存储、数据展示、系统运维等问题。
- 整体而言，与开源Prometheus监控相比，阿里云Prometheus监控的优势体现为：
- 更轻量、更稳定、更准确的重试机制；
- 数据量无上限；
- 完全兼容开源生态；
- 节省成本；
3. 应用性能监控
- 对于部署在容器服务Kubernetes版中的Java及PHP应用，可以使用应用实时监控服务ARMS对其进行监控，实现自动发现应用拓扑、自动生成3D拓扑、自动发现并监控接口、捕获异常事务和慢事务，大幅提升线上问题诊断的效率。
- 应用实时监控服务ARMS(Application Real-Time Monitoring Service) 是一款阿里云应用性能管理(APM)类监控产品。只要为部署在容器服务Kubernetes版中的Java应用安装ARMS应用监控组件，无需修改任何代码，就能借助ARMS对Java应用进行全方位监控，以便更快速地定位出错接口和慢接口、重现调用参数、检测内存泄漏、发现系统瓶颈，从而大幅提升线上问题诊断问题的效率。
开启ARMS应用性能监控，操作步骤：
a. 安装ARMS应用监控组件；
b. 为容器服务Kubernetes版授权；
c. 为Java应用开启ARMS应用监控；
d. 为PHP应用开启ARMS应用监控；
4. 架构感知监控
- Kubernetes中的业务是运行在节点组成的资源池上，使得定位Pod的调用链路以及拓扑关系非常复杂，如何以可视化的方式监控Kubernetes中的负载状态，及更好地可视化集群中流量的吞吐是非常重要的问题。
- 阿里云应用高可用服务 (AHAS)是一款专注于提高应用高可用能力的云产品，提供应用架构自动探测、故障注入式高可用能力评测和一键流控降级等功能，可以快速低成本地提升应用可用性。
AHAS使用步骤：
a. 开通AHAS服务：检查是否开通了AHAS：访问开通AHAS服务页面验证。如果已开通，会提示跳转到AHAS控制台；
b. 授权AHAS访问容器服务信息，访问云资源访问授权页面，单击同意授权；
c. 安装AHAS Pilot，登录容器服务管理控制台。在左侧导航栏选择市场>应用目录，在右侧选中 ACK-ahas-pilot。在应用目录-ACK-ahas-pilot 页面右侧的创建区域，选择集群名称后单击创建，添加AHAS应用高可用服务组件；
d. 查看AHAS服务数据，创建完成后，您可以登录AHAS控制台，查看AHAS服务数据。
5. 事件监控
事件监控是Kubernetes中的另一种监控方式，可以弥补资源监控在实时性、准确性和场景上的欠缺，用户您可以通过使用NPD结合SLS的Kubernetes事件中心、配置NPD集群检查项以及异常事件离线功能、使用钉钉、使用SLS离线Kubernetes事件及使用EventBridge离线Kubernetes事件，实时监控集群的异常与问题。
背景信息
- Kubernetes的架构设计基于状态机，不同的状态之间进行转换则会生成相应的事件，正常的状态之间转换会生成Normal等级的事件，正常状态与异常状态之间的转换会生成Warning等级的事件。
- ACK提供开箱即用的容器场景事件监控方案，通过ACK维护的NPD (node-problem-detector) 以及包含在NPD中的kube-eventer提供容器事件监控能力。
- NPD (node-problem-detector ) 是Kubernetes节点诊断的工具，可以将节点的异常，例如Docker Engine Hang、 Linux Kernel Hang、网络出网异常、文件描述符异常转换为Node的事件，结合kube-eventer可以实现节点事件告警的闭环；
- kube-eventer是ACK维护的开源Kubernetes事件离线工具，可以将集群的事件离线到钉钉、SLS、EventBridge等系统，并提供不同等级的过滤条件，实现事件的实时采集、定向告警、异步归档。
应用场景
场景一：使用NPD结合SLS的Kubernetes事件中心监控集群事件；
场景二：配置NPD集群检查项以及异常事件离线功能；
场景三：使用钉钉实现Kubernetes监控告警：
场景四：使用SLS离线Kubernetes事件；
场景五：使用EventBridge离线Kubernetes事件。
