开发者社区> 楠西> 正文

阿里云态势感知 - 配置实时日志分析

简介: 阿里云态势感知 - 配置实时日志分析
+关注继续查看

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

本文介绍如何配置态势感知的日志并介绍日志的具体类别与格式。

配置

前提条件

  1. 开通态势感知企业版本,并在此基础上购买日志增值模块
  2. 开通日志服务

步骤

刚进入态势感知控制台的日志分析下,在界面引导下开通日志服务并授权操作后。就可以立刻开始使用日志分析功能了。

1538056198191-53aeb34b-0628-4ebe-ac7f-ac

1538056812451-8ba85f1b-4527-44fa-bb27-eb

专属日志库

日志都会集中放到这一个日志库中,不同的日志通过主题__topic__进行区分。

属性
专属的日志库名字是sas-log,存放于日志服务的项目sas-log-阿里云账户ID-区域名中。国内项目在杭州区域(cn-hangzhou),国外开通的有马来西亚区域(southeast-3)。
默认的日志库的分区数量是4个, 并且打开了自动Split功能,默认的存储周期是180天(超过180天的日志会自动被删除)。

限制
专属的日志库用于存入态势感知的日志, 因此不允许用户通过API/SDK写入其他数据. 其他的查询、统计、报警、流式消费等功能与一般日志库无差别.

态势感知日志格式

日志类别与主题

默认开启的日志包括如下3大类14子类,具体类别和主题如下:

安全日志

日志来源 主题(__topic__) 描述 备注
漏洞日志 sas-vul-log 漏洞日志 安全运营产生,实时采集
基线日志 sas-hc-log 基线日志 安全运营产生,实时采集
安全告警日志 sas-security-log 安全告警日志 安全运营产生,实时采集

网络日志

日志来源 主题(__topic__) 描述 备注
DNS日志 sas-log-dns 通过网络的DNS日志 由网络采集,2小时延迟左右
本地DNS日志 local-dns 同一个阿里云域内的ECS之间DNS解析日志 由ECS内的DNS服务采集,延迟1小时
网络会话日志 sas-log-session 特定协议的网络日志 由网络采集,延迟1小时
Web日志 sas-log-web HTTP日志 由网络采集,延迟1小时

主机日志

日志来源 主题(__topic__) 描述 备注
进程启动日志 aegis-log-process 主机上进程启动信息 由安骑士agent采集,实时数据,进程一启动日志就上报
网络连接日志 aegis-log-network 主机上连接的五元组信息 由安骑士agent采集,windows为实时数据,linux为10秒采集,增量上报
系统登录日志 aegis-log-login SSH、RDP登录成功日志 由安骑士agent采集,准实时数据
暴力破解日志 aegis-log-crack 登录失败的日志 由安骑士agent采集,准实时的登录失败日志
进程快照 aegis-snapshot-process 主机上进程快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时运行进程信息
账户快照 aegis-snapshot-host 主机上账户快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时的账号信息
端口侦听快照 aegis-snapshot-port 主机上端口侦听快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时的端口侦听信息

日志格式

具体个每个类别的日志格式如下:

网络日志:DNS日志

字段名 名称 例子 备注
additional additional字段,竖线分隔
additional_num additional字段数量 0
answer DNS回答信息,竖线分隔 abc.com A IN 52 1.2.3.4
answer_num DNS回答信息数量 1
authority authority字段 a1.a2.com NS IN 17597 b1.b2.com
authority_num authority字段数量 1
client_subnet 客户端子网 172.168.100.1
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
in_out 传输方向in或者out out
qid 查询ID 12345
qname 查询域名 abc.com
qtype 查询类型 A
query_datetime 查询时间戳(毫秒) 1537840756263
rcode 返回代码 0
region 来源区域ID 1 1-北京,2-青岛,3-杭州,4-上海,5-深圳,6-其它
response_datetime 返回时间 2018-09-25 09:59:16
src_ip 源IP 1.2.3.4
src_port 源端口 1234

网络日志:本地DNS

字段名 名称 例子 备注
answer_rdata DNS回答信息,竖线分隔 abc.com
answer_ttl DNS回答的时间周期,竖线分隔 100
answer_type DNS回答的类型,竖线分隔 1
anwser_name DNS回答的名称,竖线分隔 abc.com
dest_ip 目标IP 1.2.3.4
dest_port 目标端口 53
group_id 分组ID 3
hostname 主机名 host.abc.com
id id 1.2.3.4
instance_id 实例ID 1.2.3.4
internet_ip 互联网IP 1.2.3.4
ip_ttl IP的周期 64
query_name 查询域名 abc.com
query_type 查询类型 A
src_ip 源IP 1.2.3.4
src_port 源端口 1234
time 查询时间戳(秒) 1537840756
time_usecond 响应耗时(微秒) 49069
tunnel_id 通道ID 1234

网络日志:网络会话日志

字段名 名称 例子 备注
asset_type 关联的资产类型 ECS 可能值有ECS/SLB/RDS等
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
proto 协议类型 tcp 可能值有tcp或udp等
session_time Session时间 2018-09-25 09:59:49
src_ip 源IP 1.2.3.4
src_port 源端口 1234

网络日志:Web日志

字段名 名称 例子 备注
content_length 内容长度 123
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
host 访问主机名 host.abc.com
jump_location 重定向地址 123
method HTTP访问 GET
referer HTTP referer http://abc.com
request_datetime 请求时间 2018-09-25 09:58:37
ret_code 返回状态值 200
rqs_content_type 请求内容类型 text/plain;charset=utf-8
rsp_content_type 响应内容类型 text/plain; charset=utf-8
src_ip 源IP 1.2.3.4
src_port 源端口 1234
uri 请求URI /report
user_agent 请求User Agent okhttp/3.2.0
x_forward_for 路由跳转信息 1.2.3.4

安全日志:漏洞日志

字段名 名称 例子 备注
name 漏洞名称 oval:com.redhat.rhsa:def:20182390
alias_name 漏洞别名 RHSA-2018:2390: kernel security and bug fix update
op 操作信息 new 可能值有:new(新增)/verify(验证)/fix(修复)
status 状态信息,参考后续列表 1
tag 漏洞标签:oval, system, cms等,主要区分EMG紧急漏洞。 oval
type 漏洞类型:sys(windows漏洞),cve(Linux漏洞),cms(Web CMS漏洞), EMG (紧急漏洞)等 sys
uuid 客户端号 1234-b7ca-4a0a-9267-123456

安全日志:基线日志

字段名 名称 例子 备注
level 级别 low 可能值有low, mediam, high
op 操作信息 new 可能值有new(新增)/verify(验证)
risk_name 风险名称 密码策略合规检测
status 状态信息 1 详细参考后续列表
sub_type_alias 子类型别名(中文) 系统账户安全
sub_type_name 子类型名称 system_account_security
type_name 类型名称 account
type_alias 类型别名(中文) 1
uuid 客户端号 12345-b7ca-4a0a-9267-123456

基线type-sub-type列表

type_name sub_type_name
system baseline
weak_password postsql_weak_password
database redis_check
acount system_account_security
acount system_account_security
weak_password mysq_weak_password
weak_password ftp_anonymous
weak_password rdp_weak_password
system group_policy
system register
acount system_account_security
weak_password sqlserver_weak_passwo
system register
weak_password ssh_weak_password
weak_password ftp_weak_password
cis centos7
cis tomcat7
cis memcached-check
cis mongodb-check
cis ubuntu14
cis win2008_r2
system file_integrity_mon
cis linux-httpd-2.2-cis
cis linux-docker-1.6-cis
cis SUSE11
cis redhat6
cis bind9.9
cis centos6
cis debain8
cis redhat7
cis SUSE12
cis ubuntu16

安全日志状态码

状态值 描述
1 未修复
2 修复失败
3 回滚失败
4 修复中
5 回滚中
6 验证中
7 修复成功
8 修复成功待重启
9 回滚成功
10 忽略
11 回滚成功待重启
12 已不存在
20 已失效

安全日志:安全告警日志

字段名 名称 例子 备注
data_source 数据源 aegis_login_log 参考后续列表
level 告警级别 可能值有suspicious 可能值有suspicious,serious,remind等
name 名称 Suspicious Process-SSH-based Remote Execution of Non-interactive Commands
op 操作信息 new 可能的值有new(新增)/dealing(处理)
status 状态信息 1 参考前述status列表
uuid 客户端号 12345-b7ca-4a0a-9267-123456

安全告警的data_source列表

含义
aegis_suspicious_event 主机异常
aegis_suspicious_file_v2 webshell
aegis_login_log 异常登录
security_event 态势感知异常事件

主机日志:进程启动日志

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
cmdline 用户启动完整命令行 cmd.exe /C "netstat -ano“
username 用户名 administrator
uid 用户ID 123
pid 进程ID 7100
filename 进程文件名 cmd.exe
filepath 进程文件完整路径 C:/Windows/SysWOW64/cmd.exe
groupname 用户组 group1
ppid 父进程ID 2296
pfilename 父进程文件名 client.exe
pfilepath 父进程文件完整路径 D:/client/client.exe -

主机日志:进程快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
cmdline 用户启动完整命令行 cmd.exe /C "netstat -ano"
pid 进程ID 7100
name 进程文件名 cmd.exe
path 进程文件完整路径 C:/Windows/SysWOW64/cmd.exe
md5 进程文件名MD5 d0424c22dfa03f6e4d5289f7f5934dd4 超过1MB的进程文件不进行计算
pname 父进程文件名 client.exe
start_time 进程启动时间 2018-01-18 20:00:12 内置字段
user 用户名 administrator
uid 用户ID 123 -

主机日志:登录日志

注意:1分钟内的重复登录时间会被合并为1条日志,在字段warn_count中体现次数

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
warn_ip 登录来源IP 1.2.3.4
warn_port 登录端口 22
warn_type 登录类型 SSHLOGIN 可能值有:SSHLOGIN(SSH登录)、RDPLOGIN(远程桌面登录)、IPCLOGIN等
warn_user 登录用户名 admin
warn_count 登录次数 3 表示这次登录前1分钟内还发送了2次

主机日志:暴力破解日志

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
warn_ip 登录来源IP 1.2.3.4
warn_port 登录端口 22
warn_type 登录类型 SSHLOGIN 可能值有:SSHLOGIN(SSH登录)、RDPLOGIN(远程桌面登录)、IPCLOGIN等
warn_user 登录用户名 admin
warn_count 失败登录次数 3 -

主机日志:网络连接

注意 主机上每隔10秒到1分钟会收集一下变化的网络连接,而一个网络连接的状态从建立到结束的过程中会部分状态会被收集到。

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
src_ip 源IP 1.2.3.4
src_port 源端口 41897
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 22
proc_name 进程名 java
proc_path 进程路径 /hsdata/jdk1.7.0_79/bin/java
proto 协议 tcp 其他可能的协议有udp和raw(表示raw socket)
status 连接状态 5 完整连接状态列表和描述,参考后续列表

网络连接状态描述

状态值 描述
1 closed
2 listen
3 syn send
4 syn recv
5 establisted
6 close wait
7 closing
8 fin_wait1
9 fin_wait2
10 time_wait
11 delete_tcb

主机日志:端口监听快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
proto 协议 tcp 可能的协议有tcp、udp和raw(表示raw socket)
src_ip 监听IP 1.2.3.4
src_port 监听端口 41897
pid 进程ID 7100
proc_name 进程名 java

主机日志:账户快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
user 用户 nscd
perm 是否拥有root权限 0 0-没有,1-有
home_dir home目录 /Users/abc
groups 用户属于的组 ["users", "root"] 不属于任何组时为N/A
last_chg 密码最后修改日期 2017-08-24
shell linux的shell命令 /sbin/nologin
domain windows域 administrator 不属于任何域为N/A
tty 登录的终端 pts/3 不适用时为N/A
warn_time 密码到期提醒日期 2017-08-24 永不提醒时为never
account_expire 账号超期日期 2017-08-24 永不过期时为never
passwd_expire 密码超期日期 2017-08-24 永不过期时为never
login_ip 最后一次登录的远程ip地址 1.2.3.4 不适用时为N/A
last_logon 最后一次登录的日期和时间 2017-08-21 09:21:21 不适用时为N/A
status 用户状态 0 0-禁用、1-正常

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
13760 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
17417 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
18052 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
17681 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
10651 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
15494 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
23587 0
+关注
楠西
云盾态势感知PD
2
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载