多日志文件数据帮你追踪用户

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

管理数量不断增加的服务器、应用和用户,需要使用数十个不兼容的日志文件。亚利桑那州立大学开始使用Splunk,在混杂有业务中创建统一的、相互关联的数据视图。 哪个美国大学排名靠前?斯坦福?MIT? 你一定会说错的。 谈到美国学术界的创新,亚利桑那州立大学(ASU),在2016年和2017年的“美国新闻与世界报道”(US News&World Report)排行榜上都名列前茅。

斯坦福大学和麻省理工学院分别是第二名和第三名。 ASU通过将其技术范围扩展到人工智能、增强现实、机器学习和认知计算等方面进行创新,该学校的计算基础设施,包括大型机在内的基于云计算和本地资源的组合在持续增长。

通过跟踪数以千计的服务器和应用程序,以及数以万计的学生和教师用户的活动,然后整理并关联所有信息,以便在单一的、统一的、可审计的视图中进行查看和跟踪,这已成为当务之急, 据ASU大学分析和数据服务系统架构师Chris Kurtz的所说。

相关数据很重要

诊断潜在的安全问题或定位多系统集成中断,需要查看所有相关系统的日志文件,因此需要一致的、相关的数据视图。

Kurtz表示:“我们需要解决的问题是将来自Windows、Linux、防火墙、交换机等的不同日志都集中在一个易于搜索的地方,并且可以在受保护的环境中进行审计和分发。所有这一切都需要从运营服务器和网络设备获取日志,并按用户排列信息,以便为负责监督IT基础设施运营和安全的人员创建相关数据。你可以把它想象成一个聚合引擎。“你想看到个人用户的日志,以及这个用户如何跨系统转换,”Kurtz说。

Kurtz.说,这些个人用户正增加。ASU拥有8万多名在校学生和20,000名教职人员,其中有很多需要跟踪。为了进行机器数据收集和日志整理,ASU转寻了旧金山的软件供应商Splunk,该软件旨在将机器生成的数据转换成公司所称的“运营智能”。

Splunk公共部门副总裁Kevin Davis说,整理和关联的数据是必要的,可以帮助IT人员找到出现问题所在。

“以IT系统 和互联网的速度发展,系统变得越来越庞大和复杂,致使我们建立了大量的孤岛,”他说。孤岛阻碍对整个IT系统的可视性,使得难以发现问题或追踪特定用户的行为。“直到出现问题,这肯定不是你想的。”

当问题出现时,它将是某个人的工作——或者是许多人的责任,来弄清楚什么出了问题、备份系统,并尽快运行。这是首要任务,Davis说。“然后,你终于可以做一点分流了。”

密歇根州特拉弗斯市研究公司Ponemon Institute的董事长Larry Ponemon说,这项工作并没有变得简单。 他说:“有这么多的设备,试图阻止这种疯狂并获得上市不仅只是一个艰巨的任务,”他补充说,物联网设备的激增导致要跟踪更多的设备类型,这增加了难度。

Kurtz说,ASU首先看到了几个产品,包括来自Hewlett Packard Enterprise的ArcSight企业安全管理器和由亚马逊网络服务公司提供的、在2012年建立Splunk软件之前的Elasticsearch服务。该大学现在使用它来将基础设施问题与用户活动关联,这似乎显而易见,但是当每个子系统日志以真空形式存在时,这将很难做到的。

本文转自d1net(转载)

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
92 2
|
3月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
684 56
|
3月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
242 30
|
7月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
4月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
503 1
|
8月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
566 117
|
4月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
341 0
|
4月前
|
数据采集 运维 监控
|
6月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
664 4

热门文章

最新文章