背景信息

在 日志服务与SIEM（如Splunk）集成方案实战 中，作者已经就阿里云日志服务及审计相关日志的现状做了介绍，并实现了“使用SLS消费组构建程序，从SLS进行实时消费，然后通过Splunk API（HEC）来发送日志给Splunk。”

本文主要介绍如何让阿里云日志服务（SLS）通过Splunk Add-on与您的Splunk服务实现日志对接, 以便确保阿里云上的所有法规、审计、与其他相关日志能够导入到您的安全运维中心（SOC）中。

整体介绍

阿里云日志服务Splunk Add-on从阿里云日志服务（SLS）采集日志并投递到Splunk。主要的特性如下：

• 通过Splunk data input创建SLS消费组，并从阿里云日志服务进行实时日志消费。
• 将采集到的日志通过Splunk私有协议(private protocol)或者HTTP Event Collector(HEC)投递到Splunk indexer。

概念介绍

SLS相关概念

• 日志库（Logstore）：日志服务中日志数据的采集、存储和查询单元。每个日志库隶属于一个项目，且每个项目可以创建多个日志库。您可以根据实际需求为某一个项目生成多个日志库，其中常见的做法是为一个应用中的每类日志创建一个独立的日志库。
• 分区（Shard）：Logstore读写日志必定保存在某一个分区（Shard）上。每个日志库（Logstore）分若干个分区，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。
• 服务入口（Endpoint）：日志服务入口是访问一个项目（Project）及其内部日志数据的 URL。它和 Project 所在的阿里云区域（Region）及 Project 名称相关。包括公网服务入口、经典/VPC网络服务入口、全球加速服务入口。
• 访问密钥（AccessKey）：阿里云访问密钥是阿里云为用户使用 API（非控制台）来访问其云资源设计的安全口令。您可以用它来签名 API 请求内容以通过服务端的安全验证。
• 消费组（Consumer Group）：一个消费组由多个消费者构成，同一个消费组下面的消费者共同消费一个logstore中的数据，消费者之间不会重复消费数据。
• 消费者（Consumer）：消费组的构成单元，实际承担消费任务，同一个消费组下面的消费者名称必须不同。

Splunk相关概念

• Add-on：运行在Splunk上提供特定功能的组件。
• Heavy forwarder：Splunk的转发器。
• Indexer：Splunk的索引器。
• HEC：Splunk的Http事件接收器（Splunk Http Event Collector）, 一个 HTTP(s)接口，用于接收日志。

更多Splunk概念详见：Splunk基础

机制介绍

• 一个data input创建一个消费者进行日志消费。
• 一个消费组由多个消费者构成，同一个消费组下面的消费者共同消费一个Logstore中的数据，消费者之间不会重复消费数据。
• 一个Logstore下面会有多个Shard。
  • 每个Shard只会分配到一个消费者。
  • 一个消费者可以同时拥有多个Shard。
• 所创建的消费者名字是由消费组名、host名、进程名、event协议类型组合而成，保证同一消费组内的消费者不重名。

操作步骤

准备工作

• 获取日志服务的AccessKey。
  您可以通过阿里云RAM获取日志服务Project的AccessKey，详情请参见访问密钥和访问密钥配置。
  您可以通过权限助手配置RAM权限，详情请参见配置权限助手。常用的RAM配置如下：
  说明 为您的日志服务Project名称，为您的日志服务Logstore名称，请根据实际情况替换，名字替换支持通配符*。

  {
       
  "Version": "1",
  "Statement": [
    {
       
      "Action": [
        "log:ListShards",
        "log:GetCursorOrData",
        "log:GetConsumerGroupCheckPoint",
        "log:UpdateConsumerGroup",
        "log:ConsumerGroupHeartBeat",
        "log:ConsumerGroupUpdateCheckPoint",
        "log:ListConsumerGroup",
        "log:CreateConsumerGroup"
      ],
      "Resource": [
        "acs:log:*:*:project/<Project name>/logstore/<Logstore name>",
        "acs:log:*:*:project/<Project name>/logstore/<Logstore name>/*"
      ],
      "Effect": "Allow"
    }
  ]
  }
  

• Splunk版本及运行环境检查
  请确保使用最新的Add-on版本。
  操作系统：Linux、Mac OS、Windows。
  Splunk版本：Splunk heavy forwarder 8.0+；Splunk indexer 7.0+。

• 配置Splunk HTTP Event Collector，详情请参见Configure HTTP Event Collector on Splunk Enterprise。

如果需要使用HEC来发送event，请确保HEC配置成功。如果选择Splunk私有协议，则可以跳过该步骤。
需要注意的是：目前创建 Event Collector token时，不支持开启indexer acknowledgment功能。

安装Add-on

这里提供两种通过Splunk web UI安装Splunk Add-on的方式：

1. 管理应用->浏览更多应用->搜索“Splunk Add-on for Alibaba Cloud Log Service”->点击“安装”->点击“重启 Splunk服务”。
2. 管理应用->从文件安装应用->上传.tgz文件，可以从https://splunkbase.splunk.com/apps下载->选择“升级应用程序选中它将覆盖已存在的应用程序”->点击“上载”按钮->点击“重启 Splunk服务”。

配置Add-on

通过Splunk Web UI 选择应用，进入"Splunk Add-on for Alibaba Cloud Log Service"界面。

全局账号配置

在“配置-Account”界面, 设置SLS AccessKey。需要注意的是这里配置的用户名、密码分别对应SLS的AccessKey ID、AccessKey Secret。

日志级别配置

在"配置-Logging" 页，可以设置Add-on的运行日志级别。

添加data input

在“输入”界面，点击"Create New Input"可以创建新的data input。具体的配置参数如下：

• 阿里云日志服务基本参数：包括消费组及相关的连接信息。
• Splunk参数：event协议和一些附加参数。

开始工作

查询数据

首先确保创建的data input是启动状态。之后通过Splunk Web UI选择"App: Search & Reporting"，将可以查到采集到的审计日志。

内部日志

• 使用 index="_internal" | search "SLS info" 可以查询SLS相关的信息。
• 使用 index="_internal" | search "error" 可以查询运行时的错误信息。

性能及安全

性能规格

该Add-on的性能及数据传输的吞吐量收到如下因素的影响：

• SLS endpoint：可以使用公网、经典/VPC网络或者全球加速服务入口。一般情况下，建议采用经典/VPC网络入口。
• 带宽：包括SLS与Splunk heavy forwarder间的带宽，和Splunk heavy forwarder与indexer之间的带宽。
• Splunk indexer处理能力：indexer的数据接收能力。
• shard数：对于单个SLS logstore，配置的shard数越多，数据传输能力越强。用户需要根据原始日志的生成速率确定Logstore的shard数。
• Splunk data input配置数：对于同一logstore，配置越多的data input（相同的消费组），吞吐量越大。需要注意，消费者的并发受到SLS logstore shard数的影响。
• Splunk heavy forwarder占用的CPU core数和内存：一版情况下一个Splunk data input需要消耗1～2G内存，占用1个CPU core。

当上述条件满足的情况下，一个Splunk data input可以提供1～2M/s的日志消费能力。
实际使用时，用户需要根据原始日志的生成速率确定Logstore的shard数，并创建相应的data input。此外，SLS的endpoit、带宽、Splunk的接收数据能力都是考虑的重要因素。
例如，一个Logstore有10M/s的日志生产能力，需要至少拆分出10个split，并且在Add-on中配置10个data input。如果是单机部署，需要具备10个空闲CPU core及12G的内存。

高可用性

消费组将检测点（check-point）保存在服务器端，当一个消费者停止，另外一个消费者将自动接管并从断点继续消费。可以在不同机器上创建Splunk data input，这样在一台机器停止或者损坏的情况下，其他机器上的Splunk data input创建的消费者可以自动接管并从断点进行消费。理论上，为了备用，也可以在不同机器上启动大于 Shard 数量的Splunk data input。

HTTPS

• SLS
  如果服务入口（endpoint）配置为https://前缀，如https://cn-beijing.log.aliyuncs.com，程序与日志服务的连接将自动使用HTTPS加密。服务器证书 *.aliyuncs.com 是 GlobalSign 签发，默认大多数 Linux/Windows 的机器会自动信任此证书。如果某些特殊情况，机器不信任此证书，可以参考这里下载并安装此证书。

• Splunk
  为了使用HTTPS的HEC能力，需要在Splunk HEC全局配置界面打开SSL功能。

  AccessKey存储保护

  SLS的AccessKey、Splunk的HEC token等关键信息，都保存着Splunk保密存储中，所以不用担心泄漏风险。

  Add-on开发流程

  阿里云日志服务Splunk Add-on使用Splunk提供的Add-on Builder工具开发的，使用Add-on Builder可以帮助开发者高效构建和验证add-on。本章节将介绍如何开发一个进行Data Collection的Add-on。

  安装Splunk Add-on builder

  从Splunkbase下载Splunk Add-on Builder，并完成安装。

  创建Add-on

  进入“Add-on builder”首页，并点击“New Add-on”。之后填写Add-on的描述信息。

  配置Data Collection

  点击“Configure Data Collection” -- “New input” -- “Modular input using myPython code”进入Create Data Input页面。

  界面配置

• Data input properties：Source type name及Input name的命名。

• Data input parameters：数据输入参数配置。
  • 将左侧Component Library中的元素拖拽到中间Data Input Parameters区域，然后在右侧Property Editor进行相关属性的编辑。
  • 支持文本框、下拉菜单等。
  • Global Account需要与Add-on setup parameters中的Global account settings配合使用。

• Add-on setup parameters：启动参数配置。支持日志级别及全局账号等配置信息。

实现及Test

之后Add-on builder将会生成代码框架，并进入Test界面。

• 配置Setup参数

• 配置Input参数并测试。

下图：左侧是前面配置生成的操作界面；中间为生成的代码；右侧为点击Test按钮后的测试结果。

关键函数

• use_single_instance_mode表示是否使用单例模式。
  • 多例模式是针对于每一个data input都会创建一个实例。
  • 单例模式多所有的data input只创建一个实例，需要开发者实现对多个data input的处理。
  • 多例模式是默认行为，将use_single_instance_mode的注释去掉，就会开启单例模式。
    ```bash

    多例模式实现

    The following example writes a random number as an event. (Multi Instance Mode)

    Use this code template by default.

    import random
    data = str(random.randint(0,100))
    event = helper.new_event(source=helper.get_input_type(), index=helper.get_output_index(), sourcetype=helper.get_sourcetype(), data=data)
    ew.write_event(event)

单例模式实现

需要使用者通过get_input_stanza_names获取到所有到input，并作为参数获取当前data input对应的index及sourcetype信息。

The following example writes a random number as an event for each input config. (Single Instance Mode)

For advanced users, if you want to create single instance mod input, please use this code template.

Also, you need to uncomment use_single_instance_mode() above.

import random
input_type = helper.get_input_type()
for stanza_name in helper.get_input_stanza_names():
data = str(random.randint(0,100))
event = helper.new_event(source=input_type, index=helper.get_output_index(stanza_name), sourcetype=helper.get_sourcetype(stanza_name), data=data)
ew.write_event(event)
```

• validate_input

  • 针对于Data input parameters的输入校验。如果校验失败，可以raise错误，之后界面配置就会提示失败。

• collect_events实现

  • 核心的数据处理逻辑。开发者可以自行开发相关逻辑进行数据收集及数据转发。
  • helper参数可以获取到Data input的所有配置参数信息。具体函数详见“Python helper functions”。
  • ew参数可以通过Splunk私有协议，将event发送给Indexer。当然也可以绕过ew，通过HEC向indexer发送数据。
• 处理模式
  • 可以不退出，一直处理。开发者可以根据自己的需求做sleep或者等待相应时间的处理。
  • 如果处理完一批数据后退出，则会在data input “间隔”参数配置的时间后重启。

    阿里云日志服务Add-on的实现

• collect_events中通过ConsumerWorker创建了消费组，对指定的SLS logstore进行实时消费。
• 对SLS实时消费获取的数据，通过注册给ConsumerWorker的processor经过简单的数据加工后，通过HEC或者ew将数据发送给indexer。
• collect_events不做退出，持续处于消费SLS数据的状态。