阿里云态势感知 - 配置实时日志分析

本文涉及的产品
云服务器 ECS,每月免费额度280元 3个月
云服务器ECS,u1 2核4GB 1个月
云安全中心 免费版,不限时长
简介: 阿里云态势感知 - 配置实时日志分析

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

本文介绍如何配置态势感知的日志并介绍日志的具体类别与格式。

配置

前提条件

  1. 开通态势感知企业版本,并在此基础上购买日志增值模块
  2. 开通日志服务

步骤

刚进入态势感知控制台的日志分析下,在界面引导下开通日志服务并授权操作后。就可以立刻开始使用日志分析功能了。

1538056198191-53aeb34b-0628-4ebe-ac7f-ac

1538056812451-8ba85f1b-4527-44fa-bb27-eb

专属日志库

日志都会集中放到这一个日志库中,不同的日志通过主题__topic__进行区分。

属性
专属的日志库名字是sas-log,存放于日志服务的项目sas-log-阿里云账户ID-区域名中。国内项目在杭州区域(cn-hangzhou),国外开通的有马来西亚区域(southeast-3)。
默认的日志库的分区数量是4个, 并且打开了自动Split功能,默认的存储周期是180天(超过180天的日志会自动被删除)。

限制
专属的日志库用于存入态势感知的日志, 因此不允许用户通过API/SDK写入其他数据. 其他的查询、统计、报警、流式消费等功能与一般日志库无差别.

态势感知日志格式

日志类别与主题

默认开启的日志包括如下3大类14子类,具体类别和主题如下:

安全日志

日志来源 主题(__topic__) 描述 备注
漏洞日志 sas-vul-log 漏洞日志 安全运营产生,实时采集
基线日志 sas-hc-log 基线日志 安全运营产生,实时采集
安全告警日志 sas-security-log 安全告警日志 安全运营产生,实时采集

网络日志

日志来源 主题(__topic__) 描述 备注
DNS日志 sas-log-dns 通过网络的DNS日志 由网络采集,2小时延迟左右
本地DNS日志 local-dns 同一个阿里云域内的ECS之间DNS解析日志 由ECS内的DNS服务采集,延迟1小时
网络会话日志 sas-log-session 特定协议的网络日志 由网络采集,延迟1小时
Web日志 sas-log-web HTTP日志 由网络采集,延迟1小时

主机日志

日志来源 主题(__topic__) 描述 备注
进程启动日志 aegis-log-process 主机上进程启动信息 由安骑士agent采集,实时数据,进程一启动日志就上报
网络连接日志 aegis-log-network 主机上连接的五元组信息 由安骑士agent采集,windows为实时数据,linux为10秒采集,增量上报
系统登录日志 aegis-log-login SSH、RDP登录成功日志 由安骑士agent采集,准实时数据
暴力破解日志 aegis-log-crack 登录失败的日志 由安骑士agent采集,准实时的登录失败日志
进程快照 aegis-snapshot-process 主机上进程快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时运行进程信息
账户快照 aegis-snapshot-host 主机上账户快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时的账号信息
端口侦听快照 aegis-snapshot-port 主机上端口侦听快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时的端口侦听信息

日志格式

具体个每个类别的日志格式如下:

网络日志:DNS日志

字段名 名称 例子 备注
additional additional字段,竖线分隔
additional_num additional字段数量 0
answer DNS回答信息,竖线分隔 abc.com A IN 52 1.2.3.4
answer_num DNS回答信息数量 1
authority authority字段 a1.a2.com NS IN 17597 b1.b2.com
authority_num authority字段数量 1
client_subnet 客户端子网 172.168.100.1
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
in_out 传输方向in或者out out
qid 查询ID 12345
qname 查询域名 abc.com
qtype 查询类型 A
query_datetime 查询时间戳(毫秒) 1537840756263
rcode 返回代码 0
region 来源区域ID 1 1-北京,2-青岛,3-杭州,4-上海,5-深圳,6-其它
response_datetime 返回时间 2018-09-25 09:59:16
src_ip 源IP 1.2.3.4
src_port 源端口 1234

网络日志:本地DNS

字段名 名称 例子 备注
answer_rdata DNS回答信息,竖线分隔 abc.com
answer_ttl DNS回答的时间周期,竖线分隔 100
answer_type DNS回答的类型,竖线分隔 1
anwser_name DNS回答的名称,竖线分隔 abc.com
dest_ip 目标IP 1.2.3.4
dest_port 目标端口 53
group_id 分组ID 3
hostname 主机名 host.abc.com
id id 1.2.3.4
instance_id 实例ID 1.2.3.4
internet_ip 互联网IP 1.2.3.4
ip_ttl IP的周期 64
query_name 查询域名 abc.com
query_type 查询类型 A
src_ip 源IP 1.2.3.4
src_port 源端口 1234
time 查询时间戳(秒) 1537840756
time_usecond 响应耗时(微秒) 49069
tunnel_id 通道ID 1234

网络日志:网络会话日志

字段名 名称 例子 备注
asset_type 关联的资产类型 ECS 可能值有ECS/SLB/RDS等
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
proto 协议类型 tcp 可能值有tcp或udp等
session_time Session时间 2018-09-25 09:59:49
src_ip 源IP 1.2.3.4
src_port 源端口 1234

网络日志:Web日志

字段名 名称 例子 备注
content_length 内容长度 123
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
host 访问主机名 host.abc.com
jump_location 重定向地址 123
method HTTP访问 GET
referer HTTP referer http://abc.com
request_datetime 请求时间 2018-09-25 09:58:37
ret_code 返回状态值 200
rqs_content_type 请求内容类型 text/plain;charset=utf-8
rsp_content_type 响应内容类型 text/plain; charset=utf-8
src_ip 源IP 1.2.3.4
src_port 源端口 1234
uri 请求URI /report
user_agent 请求User Agent okhttp/3.2.0
x_forward_for 路由跳转信息 1.2.3.4

安全日志:漏洞日志

字段名 名称 例子 备注
name 漏洞名称 oval:com.redhat.rhsa:def:20182390
alias_name 漏洞别名 RHSA-2018:2390: kernel security and bug fix update
op 操作信息 new 可能值有:new(新增)/verify(验证)/fix(修复)
status 状态信息,参考后续列表 1
tag 漏洞标签:oval, system, cms等,主要区分EMG紧急漏洞。 oval
type 漏洞类型:sys(windows漏洞),cve(Linux漏洞),cms(Web CMS漏洞), EMG (紧急漏洞)等 sys
uuid 客户端号 1234-b7ca-4a0a-9267-123456

安全日志:基线日志

字段名 名称 例子 备注
level 级别 low 可能值有low, mediam, high
op 操作信息 new 可能值有new(新增)/verify(验证)
risk_name 风险名称 密码策略合规检测
status 状态信息 1 详细参考后续列表
sub_type_alias 子类型别名(中文) 系统账户安全
sub_type_name 子类型名称 system_account_security
type_name 类型名称 account
type_alias 类型别名(中文) 1
uuid 客户端号 12345-b7ca-4a0a-9267-123456

基线type-sub-type列表

type_name sub_type_name
system baseline
weak_password postsql_weak_password
database redis_check
acount system_account_security
acount system_account_security
weak_password mysq_weak_password
weak_password ftp_anonymous
weak_password rdp_weak_password
system group_policy
system register
acount system_account_security
weak_password sqlserver_weak_passwo
system register
weak_password ssh_weak_password
weak_password ftp_weak_password
cis centos7
cis tomcat7
cis memcached-check
cis mongodb-check
cis ubuntu14
cis win2008_r2
system file_integrity_mon
cis linux-httpd-2.2-cis
cis linux-docker-1.6-cis
cis SUSE11
cis redhat6
cis bind9.9
cis centos6
cis debain8
cis redhat7
cis SUSE12
cis ubuntu16

安全日志状态码

状态值 描述
1 未修复
2 修复失败
3 回滚失败
4 修复中
5 回滚中
6 验证中
7 修复成功
8 修复成功待重启
9 回滚成功
10 忽略
11 回滚成功待重启
12 已不存在
20 已失效

安全日志:安全告警日志

字段名 名称 例子 备注
data_source 数据源 aegis_login_log 参考后续列表
level 告警级别 可能值有suspicious 可能值有suspicious,serious,remind等
name 名称 Suspicious Process-SSH-based Remote Execution of Non-interactive Commands
op 操作信息 new 可能的值有new(新增)/dealing(处理)
status 状态信息 1 参考前述status列表
uuid 客户端号 12345-b7ca-4a0a-9267-123456

安全告警的data_source列表

含义
aegis_suspicious_event 主机异常
aegis_suspicious_file_v2 webshell
aegis_login_log 异常登录
security_event 态势感知异常事件

主机日志:进程启动日志

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
cmdline 用户启动完整命令行 cmd.exe /C "netstat -ano“
username 用户名 administrator
uid 用户ID 123
pid 进程ID 7100
filename 进程文件名 cmd.exe
filepath 进程文件完整路径 C:/Windows/SysWOW64/cmd.exe
groupname 用户组 group1
ppid 父进程ID 2296
pfilename 父进程文件名 client.exe
pfilepath 父进程文件完整路径 D:/client/client.exe -

主机日志:进程快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
cmdline 用户启动完整命令行 cmd.exe /C "netstat -ano"
pid 进程ID 7100
name 进程文件名 cmd.exe
path 进程文件完整路径 C:/Windows/SysWOW64/cmd.exe
md5 进程文件名MD5 d0424c22dfa03f6e4d5289f7f5934dd4 超过1MB的进程文件不进行计算
pname 父进程文件名 client.exe
start_time 进程启动时间 2018-01-18 20:00:12 内置字段
user 用户名 administrator
uid 用户ID 123 -

主机日志:登录日志

注意:1分钟内的重复登录时间会被合并为1条日志,在字段warn_count中体现次数

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
warn_ip 登录来源IP 1.2.3.4
warn_port 登录端口 22
warn_type 登录类型 SSHLOGIN 可能值有:SSHLOGIN(SSH登录)、RDPLOGIN(远程桌面登录)、IPCLOGIN等
warn_user 登录用户名 admin
warn_count 登录次数 3 表示这次登录前1分钟内还发送了2次

主机日志:暴力破解日志

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
warn_ip 登录来源IP 1.2.3.4
warn_port 登录端口 22
warn_type 登录类型 SSHLOGIN 可能值有:SSHLOGIN(SSH登录)、RDPLOGIN(远程桌面登录)、IPCLOGIN等
warn_user 登录用户名 admin
warn_count 失败登录次数 3 -

主机日志:网络连接

注意 主机上每隔10秒到1分钟会收集一下变化的网络连接,而一个网络连接的状态从建立到结束的过程中会部分状态会被收集到。

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
src_ip 源IP 1.2.3.4
src_port 源端口 41897
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 22
proc_name 进程名 java
proc_path 进程路径 /hsdata/jdk1.7.0_79/bin/java
proto 协议 tcp 其他可能的协议有udp和raw(表示raw socket)
status 连接状态 5 完整连接状态列表和描述,参考后续列表

网络连接状态描述

状态值 描述
1 closed
2 listen
3 syn send
4 syn recv
5 establisted
6 close wait
7 closing
8 fin_wait1
9 fin_wait2
10 time_wait
11 delete_tcb

主机日志:端口监听快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
proto 协议 tcp 可能的协议有tcp、udp和raw(表示raw socket)
src_ip 监听IP 1.2.3.4
src_port 监听端口 41897
pid 进程ID 7100
proc_name 进程名 java

主机日志:账户快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
user 用户 nscd
perm 是否拥有root权限 0 0-没有,1-有
home_dir home目录 /Users/abc
groups 用户属于的组 ["users", "root"] 不属于任何组时为N/A
last_chg 密码最后修改日期 2017-08-24
shell linux的shell命令 /sbin/nologin
domain windows域 administrator 不属于任何域为N/A
tty 登录的终端 pts/3 不适用时为N/A
warn_time 密码到期提醒日期 2017-08-24 永不提醒时为never
account_expire 账号超期日期 2017-08-24 永不过期时为never
passwd_expire 密码超期日期 2017-08-24 永不过期时为never
login_ip 最后一次登录的远程ip地址 1.2.3.4 不适用时为N/A
last_logon 最后一次登录的日期和时间 2017-08-21 09:21:21 不适用时为N/A
status 用户状态 0 0-禁用、1-正常
目录
相关文章
|
27天前
|
编解码 对象存储
阿里云视频转码转码模板-配置工作流
阿里云视频转码转码模板-配置工作流
14 0
|
30天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
26天前
|
弹性计算
2024年阿里云服务器不同实例规格与配置实时优惠价格整理与分享
2024年阿里云服务器的优惠价格新鲜出炉,有特惠云服务器也有普通优惠价格,本文为大家整理汇总了2024年阿里云服务器的优惠价格,包含特惠云服务器和其他配置云服务器的优惠价格。以便大家了解自己想购买的云服务器选择不同实例规格和带宽情况下的价格,仅供参考。
2024年阿里云服务器不同实例规格与配置实时优惠价格整理与分享
|
27天前
阿里云配置dcoker镜像仓库
阿里云配置dcoker镜像仓库
79 0
|
1天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
7 0
|
8天前
|
存储 弹性计算 安全
阿里云服务器2核2G、2核4G配置最新租用收费标准及活动价格参考
2核2G、2核4G配置是很多个人和企业建站以及部署中小型的web应用等场景时首选的云服务器配置,这些配置的租用价格也是用户非常关心的问题,本文为大家整理汇总了2024年阿里云服务器2核2G、2核4G配置不同实例规格及地域之间的收费标准,同时整理了这些配置最新活动价格,以供大家参考和选择。
阿里云服务器2核2G、2核4G配置最新租用收费标准及活动价格参考
|
11天前
|
域名解析 网络协议 应用服务中间件
阿里云服务器配置免费https服务
阿里云服务器配置免费https服务
|
15天前
|
域名解析 网络协议 应用服务中间件
阿里云SSL证书配置(HTTPS证书配置)
该内容是一个关于如何在阿里云上准备和购买SSL证书,以及如何为网站启用HTTPS的步骤指南。首先,需要注册并实名认证阿里云账号,然后在SSL证书控制台选择证书类型、品牌和时长进行购买。申请证书时填写域名信息,并进行DNS验证,这包括在阿里云域名管理板块添加解析记录。完成验证后提交审核,等待证书审核通过并下载Nginx格式的证书文件。最后,将证书配置到网站服务器以启用HTTPS。整个过程涉及账户注册、实名认证、证书购买、DNS设置和证书下载及安装。
77 0
|
1月前
|
弹性计算 固态存储 调度
2024年阿里云服务器配置选择指南,新手整理
阿里云服务器配置选择指南:个人用户推荐轻量应用服务器或ECS通用算力型u1,适合小型网站和轻量应用。企业用户应选择企业级独享型如ECS计算型c7、通用型g7,保证高性能计算需求。配置选择要考虑CPU内存比例、公网带宽和系统盘。轻量服务器提供2核2G3M和2核4G4M选项,ECS实例则有多种规格以适应不同业务场景。公网带宽建议至少5M,系统盘可选高效云盘、SSD或ESSD。详细信息见[阿里云服务器产品页](https://www.aliyun.com/product/ecs)。
68 3
|
1月前
|
存储 弹性计算 运维
阿里云轻量应用服务器与标准型阿里云服务器ECS全面对比(配置、价格)
随着云计算技术的蓬勃发展,阿里云作为业界的佼佼者,推出了多样化的云服务器产品以满足不同用户群体的需求。在这些产品中,阿里云轻量应用服务器与标准云服务器(ECS)因其各自的特点而备受关注。下面,我们将从多个角度对这两款产品进行深入剖析,以帮助您更好地选择适合自身需求的云服务器。
652 2