Splunk实现与Hadoop的集成与监控

简介: 2012年10月24日,实时运营信息软件供应商Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。

2012年10月24日,实时运营信息软件供应商Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。Splunk Hadoop Connect可提供双向集成,轻松可靠地完成在Splunk与Hadoop之间迁移数据。Splunk App for HadoopOps可对端到端Hadoop环境的健康和性能进行实时监控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下载。

Apache Hadoop项目管理委员会主席Arun Murthy表示:“Splunk Hadoop Connect让Hadoop用户更轻松地利用Splunk将大数据带入企业。它让Splunk和Hadoop更紧密地联系在一起,为用户开启了无限可能。Hadoop未来发展的关键技术因素是利用Hadoop从数据中获得情报的软件。”

Edmunds.com生产工程高级总监John Martin表示:“我们不断将数据传输至Splunk,以支持我们的运营、应用、安全团队和高管人员并为他们提供情报。我们还部署Hadoop进行多批处理。Splunk和Hadoop的集成让我们可以充分利用这两个技术,并保证我们的Hadoop集群平稳运行。”

Splunk Hadoop Connect让企业能够充分享受两家企业的技术。快速部署Splunk进行实时采集、检索、分析和可视化,然后可靠地将事件转发至Hadoop,进行长期归档和更多批量分析。企业机构可通过导入存储在Hadoop中的数据进一步充分利用Splunk,从而在几天内就轻松搭建起可靠、安全的企业级大数据项目。Splunk Hadoop Connect与Apache Hadoop兼容,并已经过Cloudera CDH和Hortonworks HDP发布的测试和认证。

Splunk App for HadoopOps为Hadoop提供实时端到端监控、分析和故障排除,所有这些都是在一个界面上完成的。现有Hadoop监控工具只关注Hadoop层。Splunk App for HadoopOps则通过涵盖基础设施,包括Hadoop、网络、交换机、机架、操作系统和数据库在内的所有层,从而实现超越。

Splunk产品营销副总裁Sanjay Mehta表示:“通过将大数据转化为实时情报,Splunk客户每天都为我们带来惊喜。我们希望让Hadoop用户更轻松地获得这种价值。Splunk可通过轻松、迅速、弹性的方式来收集、分析用户所有机器生成的数据并确保其安全,无论是在物理、虚拟还是云环境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一个共同的开发目的,即:帮助Hadoop用户从数据中获得更多,同时更轻松地管理并监控其系统。”

451 Research数据管理与分析研究经理Matt Aslett表示:“Splunk采用一种方法论方式来定义其与Hadoop的共存关系。Splunk Hadoop Connect不仅能够与Hadoop相集成,并且能够与其进行互动,再加上利用Splunk App for HadoopOps来监控超越Hadoop本身的集群资源,意味着它能够在‘提供管理和分析Splunk和Hadoop中数据的单一平台’方面发挥更大作用。”

Splunk Hadoop Connect功能包括:

  • 将事件从Splunk Enterprise™可靠导出至Hadoop,以便进行归档、进一步处理或进行更多批量处理。原始数据和处理前的数据都可发送。
  • 利用Splunk Hadoop Connect用户界面来探索Hadoop目录,检查文件并决定将导入Splunk的数据。
  • 将Hadoop数据导入Splunk,并进行检索,使其用于搜索、报告、分析和可视化,并通过基于角色的访问控制而对其进行保护。

Splunk App for HadoopOps功能包括:

  • 除了从不同数据中心进行多集群管理,还可端到端监控Hadoop集群、数据库和网络,并排除故障。
  • 针对任何警告或错误情况的强大报警框架。
  • 利用直观的热图显示,集中地实时查看Hadoop节点。
  • 分析MapReduce的实时和历史工作表现。

Splunk Hadoop Connect和Splunk App for HadoopOps可在Splunkbase上免费下载。

目录
相关文章
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
222 3
|
监控 jenkins Linux
从 Jenkins 持续集成出发:探究如何监控员工电脑屏幕
Jenkins 在企业信息化管理中用于自动化构建、测试和部署,提高开发效率。本文讨论了其重要性,并从技术角度探讨了屏幕监控的可能性,但明确反对非法监控,强调应合法合规地管理企业和尊重员工隐私。
253 12
|
存储 Prometheus 运维
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案。该集成结合了ARMS的基础设施监控能力和Prometheus的灵活配置及社区支持,实现了全面、精准的系统状态、性能和错误监控,提升了应用的稳定性和管理效率。通过统一的数据视图和高级查询功能,帮助企业有效应对云原生挑战,促进业务的持续发展。
346 3
|
分布式计算 资源调度 监控
监控Hadoop指标
详细介绍了Hadoop指标的概念、类型和收集方法,包括JVM、RPC、DFS、YARN以及用户和组指标,以及如何配置Hadoop以收集这些指标,从而帮助监控、调试和优化Hadoop集群的性能。
361 2
监控Hadoop指标
|
监控 关系型数据库 MySQL
zabbix agent集成percona监控MySQL的插件实战案例
这篇文章是关于如何使用Percona监控插件集成Zabbix agent来监控MySQL的实战案例。
266 2
zabbix agent集成percona监控MySQL的插件实战案例
|
监控 前端开发 JavaScript
ARMS集成监控代码
【8月更文挑战第24天】
400 6
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
337 2
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
1766 1
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
1283 6
|
分布式计算 Hadoop Java
优化大数据处理:Java与Hadoop生态系统集成
优化大数据处理:Java与Hadoop生态系统集成