《Storm实时数据处理》一2.1 简介

简介:

本节书摘来华章计算机《Storm实时数据处理》一书中的第2章 ,第2.1节,(澳)Quinton Anderson 著 卢誉声 译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.1 简介

本章将会展示一个企业日志存储系统的实现方法,以及一个基于Storm处理系统的搜索分析解决方案。其实日志数据处理已经不再是一个需要解决的问题了,但它依然能够帮助我们加深理解这些新概念。
数据流处理在现代企业中是一个主要的架构关注点。但通常情况下,最理想的数据流也只是半结构化的。本章展示了一个企业日志的处理方案,目的是为了让读者学习了解各种重要概念,获得处理各种类型数据的能力。由于日志数据量庞大,因此日志数据也为学术研究提供了极大的便利。对于任何流处理或分析工作来说,其成功的关键都在于深入理解实际数据和获取数据这两项因素上,而这往往非常困难。
因此,如何将架构设计蓝图运用到企业其他形式的数据中,才是读者需要重点关注的问题。
image

你将学习如何建立日志代理,它可以部署到你环境中的任意节点上。你也将学到如何使用Storm和Redis集中式地收集、分析、索引和统计日志,以便日后搜索和展示它们的基本统计信息。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
定位技术 API
基于Leaflet.draw的自定义绘制实战
本文介绍了如何基于leaflet.draw进行自定义绘制,同时获取对象的bbox和geojson信息。
1188 0
基于Leaflet.draw的自定义绘制实战
|
12月前
|
运维 监控 安全
天财商龙:云上卓越架构治理实践
天财商龙成立于1998年,专注于为餐饮企业提供信息化解决方案,涵盖点餐、收银、供应链和会员系统等。自2013年起逐步实现业务上云,与阿里云合作至今已十年。通过采用阿里云的WA体系,公司在账号管理、安全保障、监控体系和成本管控等方面进行了全面优化,提升了业务稳定性与安全性,并实现了显著的成本节约。未来,公司将持续探索智能化和全球化发展,进一步提升餐饮行业的数字化水平。
|
12月前
|
运维 监控 BI
卓越架构之FinOps最佳实践
本文探讨了云成本管理的趋势和FinOps的最佳实践。随着云计算的普及,传统的IT管理模式已无法适应按需使用和按量付费的新模式,导致企业面临资源浪费和成本失控的风险。FinOps作为一种管理理念,强调运维、财务和技术团队的合作,通过数据驱动和业务价值驱动的方式优化云成本。文章介绍了FinOps的核心挑战、最佳实践及技术工具的应用,帮助企业有效管理和优化云成本,实现降本增效。
|
安全 API PHP
港澳台验证码海外短信群发教程,利用阿里云国际如何实现境外短信操作
港澳台验证码海外短信群发教程,利用阿里云国际如何实现境外短信操作
|
Ubuntu Linux 程序员
一个9年archlinux重度使用者自述
一个9年archlinux重度使用者自述
|
机器学习/深度学习 人工智能 自然语言处理
生成式 AI 与 LangCHain(三)
生成式 AI 与 LangCHain(三)
314 2
|
Web App开发 Java HTML5
|
机器学习/深度学习 自然语言处理 小程序
阿里云EMAS-专家测试服务,提供项目兼容性测试,适合APP等项目测试
如何确定自己的APP等项目是否能在阿里云服务器上运行,是很多用户在购买阿里云产品完成业务上云之前比较关心的问题,为此,阿里云提供了EMAS-专家测试服务,一站式移动测试平台,用户只需提交测试需求,即可轻松体验高质量专家团队测试服务。
637 0
阿里云EMAS-专家测试服务,提供项目兼容性测试,适合APP等项目测试
|
人工智能
AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频(1)
AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频
901 0
|
传感器 芯片 智能硬件
RTC原理
RTC原理