启用控制面日志采集及告警提升系统稳定性

背景

服务网格的控制面组件扮演的一个重要角色是负责推送网格的规则配置到数据面的Sidecar代理或者网关中。如果用户配置的网格规则内容存在一些冲突导致推送失败,  因此代理或者网关就接收不到最新的配置内容。 因为代理或网关在不重启的情况下, 仍然可以使用已经接收到的配置继续运行, 但是一旦这些Pod重启, 很有可能导致Sidecar代理或网关启动失败。 在很多实际的客户场景中, 经常出现用户误配置引发的网关或代理不可用问题, 因此启用控制面的日志告警, 及时发现问题、解决问题势在必行。

ASM支持采集控制平面日志和日志告警，例如采集ASM控制平面向数据平面Sidecar推送配置的相关日志。本文介绍如何启用控制平面日志采集和日志告警、并通过一个示例介绍告警通知, 最后给出对应的告警处理参考方案。

启用控制面日志采集

1. 登录ASM控制台。
2. 在左侧导航栏，选择服务网格>网格管理。
3. 在网格管理页面，找到待配置的实例，单击实例的名称或在操作列中单击管理。
4. 在网格详情页面左侧导航栏选择网格实例>基本信息。
5. 在基本信息页面单击控制面日志采集右侧的开启。
6. 如果是第一次启用, 点击开启之后, 在启用控制面日志的对话框中, 允许选择新建Project或使用已有Project，然后单击确认。如果您选择的是新建Project，您可以使用默认Project名称或者自定义Project名称。在网格信息页面单击控制面日志采集右侧的查看日志，然后您可以在Project页面查看详细的控制平面日志。

7. 如果之前已经开启且禁用过, 再次点击开启确认之后, 就会自动选择上次已经指定的Project。

启用控制平面日志告警

当控制平面发往数据平面的xDS请求被数据平面拒绝时，数据平面同步失败告警将被触发。此时您的数据平面的Sidecar代理或ASM网关将无法得到最新的配置信息，将存在以下两种情况：

注意启用控制平面日志告警之前必须先启用控制平面日志采集，否则将无法使用该功能。

• 如果数据平面Sidecar在此之前收到过成功的配置推送，则该Sidecar将保持最后一次收到的成功推送的配置。
• 如果数据平面Sidecar在此之前尚未收到过成功的配置推送，则该Sidecar将没有任何配置信息，这意味着该节点可能没有任何监听，也无法处理任何请求和路由规则。

1. 登录ASM控制台。
2. 在左侧导航栏，选择服务网格>网格管理。
3. 在网格管理页面，找到待配置的实例，单击实例的名称或在操作列中单击管理。
4. 在网格详情页面左侧导航栏选择网格实例>基本信息。
5. 在基本信息页面单击控制面日志采集右侧的告警设置。
6. 在控制面日志告警设置对话框选择行动策略- 服务网格ASM内置行动策略 (推荐) 或者其他自定义行动策略,  然后单击开启告警。行动策略定义了告警触发时的行为，您可以在SLS Project内创建和编辑行动策略。具体操作，请参见创建行动策略。

7. 在重要提示对话框单击确定。

配置告警通知人

告警管理中心是SLS下基于业务的统一智能告警运维平台，可以在全局配置->通知策略->行动策略中找到“SLS服务网关内置行动策略”，点击修改可以查看其告警通知接收人，通知模板等。

1. 在SLS控制台配置告警通知人, 在SLS控制台首页，页面上方找到日志应用，点击“查看更多日志应用”, 在弹出的页面中选择点击“告警管理中心”。
2. 在页面的右上方,  点击全局配置。

3. 在左边菜单找到用户管理->用户组管理，点击右侧修改按钮，在SLS 服务网格内置用户组中通过修改操作来添加相应的联系人，即可接收告警产生后的通知。

4. 确认在已添加成员列表中包括了相应的告警通知人。

触发告警通知的示例

1. 登录ASM控制台。
2. 在左侧导航栏，选择服务网格>网格管理。
3. 在网格管理页面，找到待配置的实例，单击实例的名称或在操作列中单击管理。
4. 在网格详情页面左侧导航栏选择流量管理中心>网关规则，然后在右侧页面单击使用YAML创建。
5. 按以下步骤定义服务网关，然后单击创建。

1. 选择相应的命名空间。本文以选择default命名空间为例。
2. 在文本框中，定义服务网关。可参考以下YAML定义：

apiVersion: networking.istio.io/v1beta1
kind: Gateway
metadata:  name:  gateway-test
  namespace: default
spec:  selector:    istio: ingressgateway
  servers:    - hosts:        - '*console.aliyun.com'      port:        name: https
        number: 443        protocol: HTTPS
      tls:        credentialName: not-existing-credential
        mode: SIMPLE

6. 然后在网格详情页面左侧导航栏选择网格实例 > 基本信息。
7. 在基本信息页面单击控制面日志采集右侧的查看日志。
8. 在日志服务控制台中, 搜索'ACK ERROR', 可以查看到类似的日志内容。

9. 如果正确地配置了告警通知人的邮箱地址, 就可以收到如下类似的邮件信息：

或者配置钉钉机器人, 即可收到钉钉群的告警信息, 类似如下：

告警处理的参考方案

以下列出了常见的数据面同步失败错误信息和处理建议。如果您没有在下方表格找到对应的错误信息，建议您提交工单。