多日志文件数据帮你追踪用户

简介:

管理数量不断增加的服务器、应用和用户,需要使用数十个不兼容的日志文件。亚利桑那州立大学开始使用Splunk,在混杂有业务中创建统一的、相互关联的数据视图。 哪个美国大学排名靠前?斯坦福?MIT? 你一定会说错的。 谈到美国学术界的创新,亚利桑那州立大学(ASU),在2016年和2017年的“美国新闻与世界报道”(US News&World Report)排行榜上都名列前茅。

斯坦福大学和麻省理工学院分别是第二名和第三名。 ASU通过将其技术范围扩展到人工智能、增强现实、机器学习和认知计算等方面进行创新,该学校的计算基础设施,包括大型机在内的基于云计算和本地资源的组合在持续增长。

通过跟踪数以千计的服务器和应用程序,以及数以万计的学生和教师用户的活动,然后整理并关联所有信息,以便在单一的、统一的、可审计的视图中进行查看和跟踪,这已成为当务之急, 据ASU大学分析和数据服务系统架构师Chris Kurtz的所说。

相关数据很重要

诊断潜在的安全问题或定位多系统集成中断,需要查看所有相关系统的日志文件,因此需要一致的、相关的数据视图。

Kurtz表示:“我们需要解决的问题是将来自Windows、Linux、防火墙、交换机等的不同日志都集中在一个易于搜索的地方,并且可以在受保护的环境中进行审计和分发。所有这一切都需要从运营服务器和网络设备获取日志,并按用户排列信息,以便为负责监督IT基础设施运营和安全的人员创建相关数据。你可以把它想象成一个聚合引擎。“你想看到个人用户的日志,以及这个用户如何跨系统转换,”Kurtz说。

Kurtz.说,这些个人用户正增加。ASU拥有8万多名在校学生和20,000名教职人员,其中有很多需要跟踪。为了进行机器数据收集和日志整理,ASU转寻了旧金山的软件供应商Splunk,该软件旨在将机器生成的数据转换成公司所称的“运营智能”。

Splunk公共部门副总裁Kevin Davis说,整理和关联的数据是必要的,可以帮助IT人员找到出现问题所在。

“以IT系统 和互联网的速度发展,系统变得越来越庞大和复杂,致使我们建立了大量的孤岛,”他说。孤岛阻碍对整个IT系统的可视性,使得难以发现问题或追踪特定用户的行为。“直到出现问题,这肯定不是你想的。”

当问题出现时,它将是某个人的工作——或者是许多人的责任,来弄清楚什么出了问题、备份系统,并尽快运行。这是首要任务,Davis说。“然后,你终于可以做一点分流了。”

密歇根州特拉弗斯市研究公司Ponemon Institute的董事长Larry Ponemon说,这项工作并没有变得简单。 他说:“有这么多的设备,试图阻止这种疯狂并获得上市不仅只是一个艰巨的任务,”他补充说,物联网设备的激增导致要跟踪更多的设备类型,这增加了难度。

Kurtz说,ASU首先看到了几个产品,包括来自Hewlett Packard Enterprise的ArcSight企业安全管理器和由亚马逊网络服务公司提供的、在2012年建立Splunk软件之前的Elasticsearch服务。该大学现在使用它来将基础设施问题与用户活动关联,这似乎显而易见,但是当每个子系统日志以真空形式存在时,这将很难做到的。

本文转自d1net(转载)

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
25天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
78 1
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
1月前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
29 0
|
1月前
|
Linux 应用服务中间件 nginx
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
49 0
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
51 0
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
1天前
|
人工智能 数据可视化 开发工具
Git log 进阶用法(含格式化、以及数据过滤)
Git log 进阶用法(含格式化、以及数据过滤)
|
3天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
74 11
|
7天前
|
运维 Oracle 关系型数据库
Oracle日志文件:数据王国的“记事本”
【4月更文挑战第19天】Oracle日志文件是数据库稳定运行的关键,记录数据变更历史,用于恢复和故障处理。它们协调并发操作,确保数据一致性和完整性。日志文件实时写入操作信息并定期刷新到磁盘,便于数据恢复。然而,日志文件需备份和归档以保证安全性,防止数据丢失。日志文件,数据王国的“记事本”,默默守护数据安全。