AI 助理
备案控制台
开发者社区 阿里云开放平台 文章 正文

使用 SDK 创建跟踪并配置日志服务报表

2020-10-13 3795
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
操作审计，不限时长
日志服务 SLS，月写入数据量 50GB 1个月
简介： 本文主要介绍如何通过 SDK 创建跟踪，将操作事件投递到日志服务，并配置日志服务报表。

bjcovszu.jpg

使用 SDK 创建跟踪与在控制台创建跟踪的主要区别是：
• 在控制台创建跟踪时，操作审计可以帮您创建 OSS Bucket 和日志服务项目（LogProject）、日志库（LogStore）及报表；
• 在控制台创建跟踪后，操作审计会自动帮您开启跟踪。
因为通过控制台创建跟踪，操作审计会自动帮您调用配置日志服务、启用跟踪（StartLogging） 等接口。

使用 SDK 创建跟踪

通过 SDK 创建跟踪的过程可以分为两步：
• 创建并配置日志服务（如果已有日志项目及日志库则可忽略该步骤）
• 创建并启用跟踪
接下来以实际场景为例，详细介绍整个创建过程：
创建一个名为 cloud_trail 的跟踪，将所有地域的所有事件，投递到杭州地域的日志项目 cloud_trail_project 中，并配置日志服务的索引、报表。

为了方便，下面的代码示例将使用阿里云 Python SDK，Python版本为 3.7。

创建并配置日志服务

如果您已完成日志服务配置，则可跳过此段内容

如果要创建跟踪将数据投递到日志服务，首先需要创建对应的日志项目（LogProject），并创建名为 actiontrail_{TrailName} 的日志库（LogStore），TrailName 是跟踪名称。
此外，如果需要对操作日志进行分析，则还需要对 LogStore 配置索引和报表。我们可以使用日志服务的 Python SDK aliyun-log-python-sdk 来实现。

初始化 SDK

安装依赖：

$ pip install -U aliyun-log-python-sdk

初始化 SDK：

from aliyun.log import LogClient

# 华东 1 (杭州)  Region 
region = 'cn-hangzhou'

#  日志服务入口
endpoint = '{region}.log.aliyuncs.com'.format(region=region)
# 用户访问秘钥对中的 AccessKeyId
access_key_id = 'ABCDEFGHIJKLJMN'
# 用户访问秘钥对中的 AccessKeySecret
access_key_secret = 'OPQRSTUVWXYZ'
# 阿里云主账号 ID
account_id = '123456789'

client = LogClient(endpoint, access_key_id, access_key_secret)

创建日志项目（LogProject）和日志库（LogStore）

如下面代码，跟踪名称为 cloud_trail ，日志项目名称为 cloud_trail_project ，日志库名称为 actiontrail_cloud_trail 。创建日志库时，指定 preserve_storage 为 True ，永久保存数据。可根据实际情况修改。

# 跟踪名称
trail_name = 'cloud_trail'

# 日志项目名称
log_project_name = 'cloud_trail_project'

# 创建日志服务
res = client.create_project(log_project_name, '操作审计事件日志项目')
res.log_print()

# 日志库名称
log_store_name = 'actiontrail_{trail_name}'.format(trail_name=trail_name)
# 创建日志库
res = client.create_logstore(log_project_name, log_store_name, shard_count=3, preserve_storage=True)
res.log_print()

配置索引

可以使用 client.create_index(self, project_name, logstore_name, index_detail) 方法创建索引。其中 index_detail 是 JSON 格式的索引配置。

import json
from aliyun.log import LogClient
from aliyun.log import IndexConfig

def get_json_data(path):
    with open(path) as f:
        return json.load(f)
      
# 从 log_index.json 中读取索引配置
index_json = get_json_data('./log_index.json')
index_detail = IndexConfig()
index_detail.from_json(index_json)
# 创建索引
client.create_index(log_project_name, log_store_name, index_detail)

详细索引配置在文末附录部分。

索引如图所示：

1.png

创建报表

可以使用 client.create_dashboard(dashboard_detail) 方法创建索引。其中 dashboard_detail 是 JSON 格式的报表配置。

#  从 log_dashboard.json 中读取报表配置
dashboard_detail = get_json_data('./log_dashboard.json')
# 创建报表 
client.create_dashboard(log_project_name, dashboard_detail)

报表如图所示：

3.png

创建并启用跟踪

您可以使用阿里云 Python SDK aliyun-python-sdk-core 来创建跟踪。

初始化 SDK

安装依赖：

$ pip install aliyun-python-sdk-core
$ pip install aliyun-python-sdk-actiontrail

初始化 SDK ：

from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.acs_exception.exceptions import ClientException
from aliyunsdkcore.acs_exception.exceptions import ServerException
from aliyunsdkactiontrail.request.v20171204.CreateTrailRequest import CreateTrailRequest

client = AcsClient(access_key_id, access_key_secret, region)

创建跟踪到指定日志项目（LogProject）

创建跟踪的 API 是 CreateTrail 。
示例代码如下：

sls_project_arn = 'acs:log:{region}:{account_id}:project/{log_project_name}'.format(
    region=region,
    account_id=account_id,
    log_project_name=log_project_name,
)

request = CreateTrailRequest()
request.set_accept_format('json')

# 设置跟踪名称
request.set_Name(trail_name)
# 设置 SLS project arn
request.set_SlsProjectArn(sls_project_arn)
# 跟踪所有事件
request.set_EventRW("All")
# 跟踪所有地域
request.set_TrailRegion("All")

response = client.do_action_with_exception(request)
print(str(response, encoding='utf-8'))

通过 API 创建跟踪后，跟踪状态是 Fresh，表示已创建但未开启。所以后续还要开启跟踪。

启用跟踪

启用跟踪的接口是 StartLogging 。

代码示例：

from aliyunsdkactiontrail.request.v20171204.CreateTrailRequest import StartLoggingRequest

request = StartLoggingRequest()
request.set_accept_format('json')

request.set_Name(trail_name)

response = client.do_action_with_exception(request)
print(str(response, encoding='utf-8'))

至此，跟踪就创建完成了。

总结

本文介绍了如何通过 SDK 创建跟踪并配置日志服务。整个过程可分为两个步骤：

  1. 创建并配置日志服务
  2. 创建并启用跟踪

其中 “创建并配置日志服务” 比较复杂，因为要通过 SDK 去配置日志服务的日志库、索引、报表等。创建并启用跟踪比较简单，调用对应 API 就可以了。希望通过本文的介绍后，大家能根据需要灵活地使用 SDK 去创建跟踪。

附录

索引配置

下面是操作事件的索引 JSON 配置，该配置会针对操作事件开启全文索引和字段索引。您可以直接使用。

{
  "index_mode": "v2",
  "keys": {
    "event": {
      "caseSensitive": false,
      "chn": false,
      "json_keys": {
        "acsRegion": {
          "doc_value": true,
          "type": "text"
        },
        "apiVersion": {
          "doc_value": true,
          "type": "text"
        },
        "errorCode": {
          "doc_value": true,
          "type": "text"
        },
        "errorMessage": {
          "doc_value": true,
          "type": "text"
        },
        "eventId": {
          "doc_value": true,
          "type": "text"
        },
        "eventName": {
          "doc_value": true,
          "type": "text"
        },
        "eventSource": {
          "doc_value": true,
          "type": "text"
        },
        "eventType": {
          "doc_value": true,
          "type": "text"
        },
        "eventVersion": {
          "doc_value": true,
          "type": "text"
        },
        "requestId": {
          "doc_value": true,
          "type": "text"
        },
        "requestParameters.HostId": {
          "doc_value": true,
          "type": "text"
        },
        "requestParameters.Name": {
          "doc_value": true,
          "type": "text"
        },
        "requestParameters.Region": {
          "doc_value": true,
          "type": "text"
        },
        "serviceName": {
          "doc_value": true,
          "type": "text"
        },
        "sourceIpAddress": {
          "doc_value": true,
          "type": "text"
        },
        "userAgent": {
          "doc_value": true,
          "type": "text"
        },
        "userIdentity.accessKeyId": {
          "doc_value": true,
          "type": "text"
        },
        "userIdentity.accountId": {
          "doc_value": true,
          "type": "text"
        },
        "userIdentity.principalId": {
          "doc_value": true,
          "type": "text"
        },
        "userIdentity.type": {
          "doc_value": true,
          "type": "text"
        },
        "userIdentity.userName": {
          "doc_value": true,
          "type": "text"
        }
      },
      "token": [
        ",",
        " ",
        "'",
        "\"",
        ";",
        "=",
        "(",
        ")",
        "[",
        "]",
        "{",
        "}",
        "?",
        "@",
        "&",
        "<",
        ">",
        "/",
        ":",
        "\n",
        "\t",
        "\r"
      ],
      "type": "json"
    }
  },
  "line": {
    "caseSensitive": false,
    "chn": false,
    "token": [
      ",",
      " ",
      "'",
      "\"",
      ";",
      "=",
      "(",
      ")",
      "[",
      "]",
      "{",
      "}",
      "?",
      "@",
      "&",
      "<",
      ">",
      "/",
      ":",
      "\n",
      "\t",
      "\r"
    ]
  }
}

报表配置

下面是操作事件的报表 JSON 配置，您可以直接使用。使用时注意需要将 charts[].search.logstore 的值（即日志库）改为您的日志库（LogStore）名称。

{
  "charts": [
    {
      "title": "actiontrail-dashboard-pv",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select count(1) as PV",
        "end": "now"
      },
      "action": {},
      "display": {
        "fontColor": {
          "g": 255,
          "b": 255,
          "r": 255,
          "a": 1
        },
        "yPos": 0,
        "descriptionSize": 24,
        "width": 2,
        "fontSize": 32,
        "bgColor": {
          "g": 204,
          "b": 228,
          "r": 44,
          "a": 1
        },
        "unit": "",
        "height": 2,
        "unitSize": 14,
        "xPos": 0,
        "description": "",
        "showTitle": true,
        "xAxis": [
          "PV"
        ],
        "displayName": "PV"
      },
      "type": "number"
    },
    {
      "title": "actiontrail-dashboard-uv",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select count(distinct \"event.sourceIpAddress\" ) as UV",
        "end": "now"
      },
      "action": {},
      "display": {
        "fontColor": {
          "g": 255,
          "b": 255,
          "r": 255,
          "a": 1
        },
        "yPos": 0,
        "descriptionSize": 24,
        "width": 2,
        "fontSize": 32,
        "bgColor": {
          "g": 204,
          "b": 228,
          "r": 44,
          "a": 1
        },
        "unit": "",
        "height": 2,
        "unitSize": 14,
        "xPos": 2,
        "description": "",
        "showTitle": true,
        "xAxis": [
          "UV"
        ],
        "displayName": "UV"
      },
      "type": "number"
    },
    {
      "title": "actiontrail-dashboard-event-area",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select \"event.acsRegion\" as region, count(1 ) as cnt  group by region order by cnt DESC  limit 20",
        "end": "now"
      },
      "action": {},
      "display": {
        "yAxis": [
          "cnt"
        ],
        "yPos": 7,
        "height": 5,
        "xPos": 0,
        "legendPosition": "right",
        "width": 5,
        "pieType": "ring",
        "margin": [
          30,
          100,
          40,
          50
        ],
        "xAxis": [
          "region"
        ],
        "displayName": "事件区域分布"
      },
      "type": "pie"
    },
    {
      "title": "actiontrail-dashboard-event-type",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select \"event.eventType\" as event_type, count(1 ) as cnt  group by event_type order by cnt desc limit 20",
        "end": "now"
      },
      "action": {},
      "display": {
        "yAxis": [
          "cnt"
        ],
        "yPos": 12,
        "height": 5,
        "xPos": 0,
        "legendPosition": "right",
        "width": 5,
        "pieType": "ring",
        "margin": [
          30,
          100,
          40,
          50
        ],
        "xAxis": [
          "event_type"
        ],
        "displayName": "事件类型分布"
      },
      "type": "pie"
    },
    {
      "title": "actiontrail-dashboard-event-source",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select ip_to_country(\"event.sourceIpAddress\") as country, count(1 ) as PV  group by country",
        "end": "now"
      },
      "action": {},
      "display": {
        "yAxis": [
          "PV"
        ],
        "yPos": 2,
        "height": 5,
        "xPos": 0,
        "width": 5,
        "xAxis": [
          "country"
        ],
        "displayName": "事件来源分布"
      },
      "type": "world-map"
    },
    {
      "title": "actiontrail-dashboard-event-service-source",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select \"event.serviceName\" as service, count(1 ) as cnt  group by service order by cnt DESC  limit 20",
        "end": "now"
      },
      "action": {},
      "display": {
        "yAxis": [
          "cnt"
        ],
        "yPos": 7,
        "height": 5,
        "xPos": 5,
        "legendPosition": "right",
        "width": 5,
        "pieType": "ring",
        "margin": [
          30,
          100,
          40,
          50
        ],
        "xAxis": [
          "service"
        ],
        "displayName": "事件来源服务分布"
      },
      "type": "pie"
    },
    {
      "title": "actiontrail-dashboard-event-service-number",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select count(distinct \"event.serviceName\") as cnt",
        "end": "now"
      },
      "action": {},
      "display": {
        "fontColor": {
          "g": 255,
          "b": 255,
          "r": 255,
          "a": 1
        },
        "yPos": 0,
        "descriptionSize": 24,
        "width": 2,
        "fontSize": 32,
        "bgColor": {
          "g": 204,
          "b": 228,
          "r": 44,
          "a": 1
        },
        "unit": "",
        "height": 2,
        "unitSize": 14,
        "xPos": 4,
        "description": "",
        "showTitle": true,
        "xAxis": [
          "cnt"
        ],
        "displayName": "来源服务数"
      },
      "type": "number"
    },
    {
      "title": "actiontrail-dashboard-event-area-number",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "__topic__: actiontrail_audit_event | select count(distinct \"event.acsRegion\") as cnt",
        "end": "now"
      },
      "action": {},
      "display": {
        "fontColor": {
          "g": 255,
          "b": 255,
          "r": 255,
          "a": 1
        },
        "yPos": 0,
        "descriptionSize": 24,
        "width": 2,
        "fontSize": 32,
        "bgColor": {
          "g": 204,
          "b": 228,
          "r": 44,
          "a": 1
        },
        "unit": "",
        "height": 2,
        "unitSize": 14,
        "xPos": 6,
        "description": "",
        "showTitle": true,
        "xAxis": [
          "cnt"
        ],
        "displayName": "来源区域数"
      },
      "type": "number"
    },
    {
      "title": "actiontrail-dashboard-pv-uv",
      "search": {
        "topic": "",
        "logstore": "actiontrail_cloud_trail",
        "start": "-2592000s",
        "query": "*  | select date_trunc('day', __time__) AS dt, count(1) as pv,  count(distinct \"event.sourceIpAddress\" ) as uv group by dt order by dt",
        "end": "now"
      },
      "action": {},
      "display": {
        "intervalArray": [],
        "yAxisRight": [],
        "yAxis": [
          "pv",
          "uv"
        ],
        "yPos": 2,
        "height": 5,
        "xPos": 5,
        "legendPosition": "right",
        "width": 5,
        "margin": [
          30,
          100,
          40,
          50
        ],
        "xAxis": [
          "dt"
        ],
        "displayName": "PV/UV趋势"
      },
      "type": "line"
    }
  ],
  "description": "",
  "dashboardName": "actiontrail_cloud_trail_dashboard",
  "attribute": {},
  "displayName": "操作审计报表"
}

相关阅读

《操作审计最佳实践》系列由阿里云操作审计团队出品，旨在向集团输出云上审计相关的业务知识和技术，更多相关内容可以查看下面的系列文章。

基础篇

• [操作审计最佳实践：操作日志查询-谁动了我的 NAT](https://developer.aliyun.com/article/773588?spm=a2c6h.13148508.0.0.57a34f0eyHKRLM
image.png
• [操作审计最佳实践：将阿里云操作日志持续投递到您的 SLS/OSS](https://developer.aliyun.com/article/772258?spm=a2c6h.13148508.0.0.57a34f0eyHKRLM
image.png
• [操作审计最佳实践：使用 Terraform 一键创建跟踪](https://developer.aliyun.com/article/773595?spm=a2c6h.13148508.0.0.57a34f0eyHKRLM
image.png

进阶篇

[• 操作审计最佳实践：使用 SQL 分析投递到 OSS 中的操作审计日志](https://developer.aliyun.com/article/771478?spm=a2c6h.13148508.0.0.57a34f0eyHKRLM
image.png
[• 操作审计最佳实践：在 SLS 中分析ActionTrail跟踪投递日志](https://developer.aliyun.com/article/773674?spm=a2c6h.13148508.0.0.57a34f0eyHKRLM
image.png

文章标签：
日志服务
操作审计
Python
开发工具
BI
索引
监控
Windows
对象存储
API
数据格式
JSON
关键词：
日志服务配置
日志服务sdk
音视频终端 SDK日志服务
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
阿里云开放平台小助手
目录
相关文章
路边两盏灯
|
3月前
|
Java Apache 开发工具
【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存
【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存
路边两盏灯
42 1
石小浪♪
|
21天前
FFmpeg【SDK01】日志和字典的使用
FFmpeg中日志功能的使用方法，包括日志级别的设置和AVDictionary的基本操作，同时展示了字符串解析函数如av_parse_video_size、av_parse_video_rate和av_parse_time的应用。
石小浪♪
18 2
游客cxtb2yf2r55as
|
24天前
|
网络协议 Linux Windows
Rsyslog配置不同端口收集不同设备日志
Rsyslog配置不同端口收集不同设备日志
游客cxtb2yf2r55as
80 3
shiningrise
|
26天前
|
开发工具 git
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
shiningrise
32 1
dream_ready
|
27天前
|
数据采集 监控 Java
SpringBoot日志全方位超详细手把手教程，零基础可学习 日志如何配置及SLF4J的使用......
本文是关于SpringBoot日志的详细教程，涵盖日志的定义、用途、SLF4J框架的使用、日志级别、持久化、文件分割及格式配置等内容。
dream_ready
54 0
SpringBoot日志全方位超详细手把手教程，零基础可学习 日志如何配置及SLF4J的使用......
萝卜丝丸子
|
3月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
萝卜丝丸子
49 7
萝卜丝丸子
|
3月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以在控制台输出日志的问题如何解决
Java应用结构规范问题之配置Logback以在控制台输出日志的问题如何解决
萝卜丝丸子
40 7
白如意i
|
3月前
|
存储 Ubuntu Apache
如何在 Ubuntu VPS 上配置 Apache 的日志记录和日志轮转
如何在 Ubuntu VPS 上配置 Apache 的日志记录和日志轮转
白如意i
45 6
白如意i
|
3月前
|
存储 Ubuntu 应用服务中间件
如何在 Ubuntu VPS 上配置 Nginx 的日志记录和日志轮转
如何在 Ubuntu VPS 上配置 Nginx 的日志记录和日志轮转
白如意i
30 4
路边两盏灯
|
3月前
|
Java 开发工具
【Azure 事件中心】关闭或开启Azure Event Hub SDK中的日志输出
【Azure 事件中心】关闭或开启Azure Event Hub SDK中的日志输出
路边两盏灯
29 0

阿里云开放平台

热门文章

最新文章

  • 1
    短视频SDK,直播SDK,美颜SDK_提供开放API接口
  • 2
    （转）在低版本的SDK里使用高版本函数@SuppressLint("NewApi") or @TargetApi?
  • 3
    SpringBoot集成海康网络设备SDK
  • 4
    刚刚写的一个Win32 SDK的工程扩展模板
  • 5
    Android SDK Android NDK Android Studio 官方下载地址
  • 6
    Windows SDK编程(Delphi版) 之 消息处理
  • 7
    高德地图SDK使用经验
  • 8
    Windows SDK编程(Delphi版) 之 消息框和菜单资源
  • 9
    使用Android Studio爆SDK emulator directory is missing
  • 10
    autojs不用oss的sdk, 直接用http上传文件
  • 1
    用logrote和split分割nohup.out日志
    114
  • 2
    使用Java代码打印log日志
    310
  • 3
    提升日志管理效率：掌握CKA认证中的边车容器技巧
    229
  • 4
    CKA备考攻略：掌握Pod日志收集，事半功倍的秘诀！
    169
  • 5
    【嵌入式开源库】EasyLogger的使用, 一款轻量级且高性能的日志库
    720
  • 6
    QT实现一个简单的日志打印系统
    224
  • 7
    Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
    301
  • 8
    MySQL数据库，可以使用二进制日志（binary log）进行时间点恢复
    523
  • 9
    【深入探究 C++ 日志库清理策略】glog、log4cplus 和 spdlog 的日志文件管理策略
    433
  • 10
    m基于log-MPA检测算法的SCMA通信链路matlab误码率仿真
    88

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 如何使用Kubernetes监控定位慢调用

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 通过日志服务实现云资源OSS的安全审计
  • 如何将OSS数据导入至SLS中进行分析
  • 日志服务之使用Nginx模式采集日志
  • ROS模板参数动态展示
  • 使用Count功能批量创建资源
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月