开发者社区> 楠西> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

阿里云态势感知 - 配置实时日志分析

简介: 阿里云态势感知 - 配置实时日志分析
+关注继续查看

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

本文介绍如何配置态势感知的日志并介绍日志的具体类别与格式。

配置

前提条件

  1. 开通态势感知企业版本,并在此基础上购买日志增值模块
  2. 开通日志服务

步骤

刚进入态势感知控制台的日志分析下,在界面引导下开通日志服务并授权操作后。就可以立刻开始使用日志分析功能了。

1538056198191-53aeb34b-0628-4ebe-ac7f-ac

1538056812451-8ba85f1b-4527-44fa-bb27-eb

专属日志库

日志都会集中放到这一个日志库中,不同的日志通过主题__topic__进行区分。

属性
专属的日志库名字是sas-log,存放于日志服务的项目sas-log-阿里云账户ID-区域名中。国内项目在杭州区域(cn-hangzhou),国外开通的有马来西亚区域(southeast-3)。
默认的日志库的分区数量是4个, 并且打开了自动Split功能,默认的存储周期是180天(超过180天的日志会自动被删除)。

限制
专属的日志库用于存入态势感知的日志, 因此不允许用户通过API/SDK写入其他数据. 其他的查询、统计、报警、流式消费等功能与一般日志库无差别.

态势感知日志格式

日志类别与主题

默认开启的日志包括如下3大类14子类,具体类别和主题如下:

安全日志

日志来源 主题(__topic__) 描述 备注
漏洞日志 sas-vul-log 漏洞日志 安全运营产生,实时采集
基线日志 sas-hc-log 基线日志 安全运营产生,实时采集
安全告警日志 sas-security-log 安全告警日志 安全运营产生,实时采集

网络日志

日志来源 主题(__topic__) 描述 备注
DNS日志 sas-log-dns 通过网络的DNS日志 由网络采集,2小时延迟左右
本地DNS日志 local-dns 同一个阿里云域内的ECS之间DNS解析日志 由ECS内的DNS服务采集,延迟1小时
网络会话日志 sas-log-session 特定协议的网络日志 由网络采集,延迟1小时
Web日志 sas-log-web HTTP日志 由网络采集,延迟1小时

主机日志

日志来源 主题(__topic__) 描述 备注
进程启动日志 aegis-log-process 主机上进程启动信息 由安骑士agent采集,实时数据,进程一启动日志就上报
网络连接日志 aegis-log-network 主机上连接的五元组信息 由安骑士agent采集,windows为实时数据,linux为10秒采集,增量上报
系统登录日志 aegis-log-login SSH、RDP登录成功日志 由安骑士agent采集,准实时数据
暴力破解日志 aegis-log-crack 登录失败的日志 由安骑士agent采集,准实时的登录失败日志
进程快照 aegis-snapshot-process 主机上进程快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时运行进程信息
账户快照 aegis-snapshot-host 主机上账户快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时的账号信息
端口侦听快照 aegis-snapshot-port 主机上端口侦听快照信息 若在安骑士-资产指纹中开启了自动收集则会有数据,快照形式,每台机器一天非固定时间收集一次当时的端口侦听信息

日志格式

具体个每个类别的日志格式如下:

网络日志:DNS日志

字段名 名称 例子 备注
additional additional字段,竖线分隔
additional_num additional字段数量 0
answer DNS回答信息,竖线分隔 abc.com A IN 52 1.2.3.4
answer_num DNS回答信息数量 1
authority authority字段 a1.a2.com NS IN 17597 b1.b2.com
authority_num authority字段数量 1
client_subnet 客户端子网 172.168.100.1
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
in_out 传输方向in或者out out
qid 查询ID 12345
qname 查询域名 abc.com
qtype 查询类型 A
query_datetime 查询时间戳(毫秒) 1537840756263
rcode 返回代码 0
region 来源区域ID 1 1-北京,2-青岛,3-杭州,4-上海,5-深圳,6-其它
response_datetime 返回时间 2018-09-25 09:59:16
src_ip 源IP 1.2.3.4
src_port 源端口 1234

网络日志:本地DNS

字段名 名称 例子 备注
answer_rdata DNS回答信息,竖线分隔 abc.com
answer_ttl DNS回答的时间周期,竖线分隔 100
answer_type DNS回答的类型,竖线分隔 1
anwser_name DNS回答的名称,竖线分隔 abc.com
dest_ip 目标IP 1.2.3.4
dest_port 目标端口 53
group_id 分组ID 3
hostname 主机名 host.abc.com
id id 1.2.3.4
instance_id 实例ID 1.2.3.4
internet_ip 互联网IP 1.2.3.4
ip_ttl IP的周期 64
query_name 查询域名 abc.com
query_type 查询类型 A
src_ip 源IP 1.2.3.4
src_port 源端口 1234
time 查询时间戳(秒) 1537840756
time_usecond 响应耗时(微秒) 49069
tunnel_id 通道ID 1234

网络日志:网络会话日志

字段名 名称 例子 备注
asset_type 关联的资产类型 ECS 可能值有ECS/SLB/RDS等
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
proto 协议类型 tcp 可能值有tcp或udp等
session_time Session时间 2018-09-25 09:59:49
src_ip 源IP 1.2.3.4
src_port 源端口 1234

网络日志:Web日志

字段名 名称 例子 备注
content_length 内容长度 123
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 53
host 访问主机名 host.abc.com
jump_location 重定向地址 123
method HTTP访问 GET
referer HTTP referer http://abc.com
request_datetime 请求时间 2018-09-25 09:58:37
ret_code 返回状态值 200
rqs_content_type 请求内容类型 text/plain;charset=utf-8
rsp_content_type 响应内容类型 text/plain; charset=utf-8
src_ip 源IP 1.2.3.4
src_port 源端口 1234
uri 请求URI /report
user_agent 请求User Agent okhttp/3.2.0
x_forward_for 路由跳转信息 1.2.3.4

安全日志:漏洞日志

字段名 名称 例子 备注
name 漏洞名称 oval:com.redhat.rhsa:def:20182390
alias_name 漏洞别名 RHSA-2018:2390: kernel security and bug fix update
op 操作信息 new 可能值有:new(新增)/verify(验证)/fix(修复)
status 状态信息,参考后续列表 1
tag 漏洞标签:oval, system, cms等,主要区分EMG紧急漏洞。 oval
type 漏洞类型:sys(windows漏洞),cve(Linux漏洞),cms(Web CMS漏洞), EMG (紧急漏洞)等 sys
uuid 客户端号 1234-b7ca-4a0a-9267-123456

安全日志:基线日志

字段名 名称 例子 备注
level 级别 low 可能值有low, mediam, high
op 操作信息 new 可能值有new(新增)/verify(验证)
risk_name 风险名称 密码策略合规检测
status 状态信息 1 详细参考后续列表
sub_type_alias 子类型别名(中文) 系统账户安全
sub_type_name 子类型名称 system_account_security
type_name 类型名称 account
type_alias 类型别名(中文) 1
uuid 客户端号 12345-b7ca-4a0a-9267-123456

基线type-sub-type列表

type_name sub_type_name
system baseline
weak_password postsql_weak_password
database redis_check
acount system_account_security
acount system_account_security
weak_password mysq_weak_password
weak_password ftp_anonymous
weak_password rdp_weak_password
system group_policy
system register
acount system_account_security
weak_password sqlserver_weak_passwo
system register
weak_password ssh_weak_password
weak_password ftp_weak_password
cis centos7
cis tomcat7
cis memcached-check
cis mongodb-check
cis ubuntu14
cis win2008_r2
system file_integrity_mon
cis linux-httpd-2.2-cis
cis linux-docker-1.6-cis
cis SUSE11
cis redhat6
cis bind9.9
cis centos6
cis debain8
cis redhat7
cis SUSE12
cis ubuntu16

安全日志状态码

状态值 描述
1 未修复
2 修复失败
3 回滚失败
4 修复中
5 回滚中
6 验证中
7 修复成功
8 修复成功待重启
9 回滚成功
10 忽略
11 回滚成功待重启
12 已不存在
20 已失效

安全日志:安全告警日志

字段名 名称 例子 备注
data_source 数据源 aegis_login_log 参考后续列表
level 告警级别 可能值有suspicious 可能值有suspicious,serious,remind等
name 名称 Suspicious Process-SSH-based Remote Execution of Non-interactive Commands
op 操作信息 new 可能的值有new(新增)/dealing(处理)
status 状态信息 1 参考前述status列表
uuid 客户端号 12345-b7ca-4a0a-9267-123456

安全告警的data_source列表

含义
aegis_suspicious_event 主机异常
aegis_suspicious_file_v2 webshell
aegis_login_log 异常登录
security_event 态势感知异常事件

主机日志:进程启动日志

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
cmdline 用户启动完整命令行 cmd.exe /C "netstat -ano“
username 用户名 administrator
uid 用户ID 123
pid 进程ID 7100
filename 进程文件名 cmd.exe
filepath 进程文件完整路径 C:/Windows/SysWOW64/cmd.exe
groupname 用户组 group1
ppid 父进程ID 2296
pfilename 父进程文件名 client.exe
pfilepath 父进程文件完整路径 D:/client/client.exe -

主机日志:进程快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
cmdline 用户启动完整命令行 cmd.exe /C "netstat -ano"
pid 进程ID 7100
name 进程文件名 cmd.exe
path 进程文件完整路径 C:/Windows/SysWOW64/cmd.exe
md5 进程文件名MD5 d0424c22dfa03f6e4d5289f7f5934dd4 超过1MB的进程文件不进行计算
pname 父进程文件名 client.exe
start_time 进程启动时间 2018-01-18 20:00:12 内置字段
user 用户名 administrator
uid 用户ID 123 -

主机日志:登录日志

注意:1分钟内的重复登录时间会被合并为1条日志,在字段warn_count中体现次数

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
warn_ip 登录来源IP 1.2.3.4
warn_port 登录端口 22
warn_type 登录类型 SSHLOGIN 可能值有:SSHLOGIN(SSH登录)、RDPLOGIN(远程桌面登录)、IPCLOGIN等
warn_user 登录用户名 admin
warn_count 登录次数 3 表示这次登录前1分钟内还发送了2次

主机日志:暴力破解日志

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
warn_ip 登录来源IP 1.2.3.4
warn_port 登录端口 22
warn_type 登录类型 SSHLOGIN 可能值有:SSHLOGIN(SSH登录)、RDPLOGIN(远程桌面登录)、IPCLOGIN等
warn_user 登录用户名 admin
warn_count 失败登录次数 3 -

主机日志:网络连接

注意 主机上每隔10秒到1分钟会收集一下变化的网络连接,而一个网络连接的状态从建立到结束的过程中会部分状态会被收集到。

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
src_ip 源IP 1.2.3.4
src_port 源端口 41897
dst_ip 目标IP 1.2.3.4
dst_port 目标端口 22
proc_name 进程名 java
proc_path 进程路径 /hsdata/jdk1.7.0_79/bin/java
proto 协议 tcp 其他可能的协议有udp和raw(表示raw socket)
status 连接状态 5 完整连接状态列表和描述,参考后续列表

网络连接状态描述

状态值 描述
1 closed
2 listen
3 syn send
4 syn recv
5 establisted
6 close wait
7 closing
8 fin_wait1
9 fin_wait2
10 time_wait
11 delete_tcb

主机日志:端口监听快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
proto 协议 tcp 可能的协议有tcp、udp和raw(表示raw socket)
src_ip 监听IP 1.2.3.4
src_port 监听端口 41897
pid 进程ID 7100
proc_name 进程名 java

主机日志:账户快照

字段名 名称 例子 备注
uuid 客户端号 5d83b26b-b7ca-4a0a-9267-123456
ip 客户端机器IP 1.2.3.4
user 用户 nscd
perm 是否拥有root权限 0 0-没有,1-有
home_dir home目录 /Users/abc
groups 用户属于的组 ["users", "root"] 不属于任何组时为N/A
last_chg 密码最后修改日期 2017-08-24
shell linux的shell命令 /sbin/nologin
domain windows域 administrator 不属于任何域为N/A
tty 登录的终端 pts/3 不适用时为N/A
warn_time 密码到期提醒日期 2017-08-24 永不提醒时为never
account_expire 账号超期日期 2017-08-24 永不过期时为never
passwd_expire 密码超期日期 2017-08-24 永不过期时为never
login_ip 最后一次登录的远程ip地址 1.2.3.4 不适用时为N/A
last_logon 最后一次登录的日期和时间 2017-08-21 09:21:21 不适用时为N/A
status 用户状态 0 0-禁用、1-正常

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
应用实时监控 ARMS 赋能培训| 学习笔记
快速学习应用实时监控 ARMS 赋能培训
0 0
用态势感知2分钟搭建你的安全可视化大屏 | 学习笔记
快速学习 用态势感知2分钟搭建你的安全可视化大屏
0 0
态势感知大数据安全重要一环,实时日志分析上线!
态势感知日志服务实时日志分析即将上线!为客户提供更好符合法规的日志管理、安全防护与业务分析能力: * 快速:安全与主机日志分析从十几分钟级提升为秒级,网络日志从几小时级提升为1小时级别 * 全面:覆盖网络、主机、安全三大类共14种子类日志 * 开放:与阿里云、开源生态下流计算、大数据系统融合,.
2678 0
实时分析态势感知大数据日志
本篇介绍如何使用态势感知大数据日志实时分析功能,包含基于时间、地理位置分析的具体实践等
4475 0
云盾.态势感知 - 实时日志分析平台上线
阿里云态势感知 - 实时日志分析上线
3429 0
阿里云态势感知 - 查看内置报表
阿里云态势感知 - 查看内置报表
1534 0
态势感知日志分析 - 一行命令导出日志
本篇介绍如何,使用命令行工具一行命令导出态势感知日志
2479 0
游戏日志分析2:全方位数据采集
在上一篇文章中,我们介绍了日志数据对游戏的重要性,这一篇我们来讨论下如何高效地实施全方位无死角的日志采集。
3505 0
MaxCompute在网络舆情监控系统中的应用
基于阿里云MaxCompute和其他云服务自建网络舆情监控平台的一些分享
10428 0
SLS:海量日志数据管理利器
日志是大规模集群管理系统中非常关键的部分,服务器上的各种日志数据可以帮助我们回答如运维、开发、运营、客服、安全等问题。SLS提供一个从日志采集、过滤、处理、聚合到在线查询的日志处理平台,满足各种日志处理分析需求。本文以用户选用SLS搭建一个端对端的日志服务为例进行详解,并解析其功能背后的技术架构。
8735 0
+关注
楠西
云盾态势感知PD
文章
问答
文章排行榜
最热
最新
相关电子书
更多
DataWorks调度配置最佳实践
立即下载
云Mongodb网络安全和权限管理
立即下载
混合云态势感知安全解决方案
立即下载