【Elastic Engineering】Elastic 代理和 Fleet 让您更容易地将系统与 Elastic 集成

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 今天,我们很高兴地宣布三项重大改进,它们将使您的系统和应用程序与 Elastic Stack 的集成变得更加容易。

作者:    Jason SkowronskiPrincipal Product Manager

 今天,我们很高兴地宣布三项重大改进,它们将使您的系统和应用程序与 Elastic Stack 的集成变得更加容易。首先,我们推出了 Elastic 代理的正式发布 (GA) 版,这是一个兼具可观测性和安全的单个一体化代理。一体化代理将简化数据上线过程,并减少配置和安装方面的工作。

       其次,我们发布了 Fleet 的正式发布版,这是一个全新的 Kibana 应用,可让您大规模地集中管理整个 Elastic 代理队列。Fleet 作为一个控制平面,可让您实时查看代理状态,远程升级代理,在每个主机上执行查询,以及遏制安全威胁。

      第三,我们在 Kibana 中推出了全新的集成应用,以及第一组 GA 版的集成。只需单击一下,您就可以将系统和应用程序与 Elastic Stack 集成。这些集成提供了可直接使用的日志解析、仪表板、Machine Learning 作业等。通过 Fleet 在 Elastic 代理上部署集成,您可以在几秒钟内将数据转变为洞见。


大规模采集数据所面临的挑战


     在采用监测或安全解决方案时,面临的一项关键挑战就是部署代理和大规模管理代理所需的时间。这不仅会耽搁关键业务目标的如期实现,还会增加您的总体拥有成本。大型公司/组织可能拥有数百个团队和数十万台服务器、笔记本电脑和应用程序。走完评估、定制、运营和安全合规性审批整个流程,然后再跨多个团队和环境进行部署,这可能需要花费数月时间。监测或安全基础架构中出现的任何问题都可能对业务产生巨大的致命影响。

     Beats 是我们当前将数据传输到 Elastic Stack 的解决方案,它比 syslog 等通用解决方案简单许多。但是,除了 APM 代理、APM 服务器、Endpoint Security 等,我们目前共有 7 个 Beats。安装这么多二进制文件非常复杂,尤其是在企业环境中,因为其中的每个二进制文件都涉及通过配置管理解决方案、渐进式部署、变更管理和审计要求进行安装。

     另一项挑战是为新数据源添加集成的过程。当下,用户必须编辑 YAML 文件并将它们上传到所有服务器。他们经常使用 Ansible 或 Chef 等工具来推送配置。遗憾的是,这让添加新数据源的过程变得非常复杂,往往需要第三方工具,并且需要跨团队与专家进行协调。在处理分布在多个网络和数据中心的数十万个代理时,这个过程会更加复杂。


一个代理,掌控一切


Elastic 代理属于单一的一体化代理,可用于日志、指标、APM 跟踪、合成和保护您的系统。入门非常简单,只需运行一条命令就可安装代理。您不再需要部署多个 Beats,而且可以更快地在您的基础架构中进行部署并长期进行维护。此外,Elastic 代理具有通过单一管理平台进行管理的单一、一体化的配置。因此,无需为 Filebeat、Metricbeat 等编辑多个配置文件。这就让添加集成变得更加容易。您可以通过 Fleet 更新配置,从而快速启用集成,采集数据和定制代理的行为。


集成和配置更加容易


      全新的集成应用在 Kibana 中提供了一个基于 Web 的 UI,用于添加和管理常用服务和平台的集成。我们的集成不仅提供了一种添加新数据源的简便方法,而且还附带了很多可以直接使用的资源,比如仪表板、可视化和管道,用于从日志中提取结构化字段。您无需花费大量精力来配置系统,因为它会自动为您完成配置。这让设置变得更加容易,并在几秒钟就可获取见解。

      通过我们新的 GA 版集成,您可以监测系统基础架构,包括服务器、笔记本电脑、容器、虚拟机等。此外,您还可以保护系统免受安全威胁,并分析安全事件。现已发布 70 多个集成,而且我们正在不断努力添加更多的集成。

image.png

     我们还提供了一个基于 Web 的 UI,用于为您的系统和应用程序配置集成。Web UI 更简洁并提供指导和验证,无需编辑具有许多不相关设置的长 YAML 文件。已为常见日志和指标位置提供了默认值,因此,您只需单击“保存”即可完成一键式集成部署。

image.png

      您可以选择将此 Nginx 集成添加到单个代理,也可以作为策略的一部分添加到一组代理。使用代理策略,您可以对任意数量的代理应用相同的集成,从而更轻松地大规模管理多个代理。这些代理会在下次签入 Fleet 时收到策略更新。

     高级用户有时更喜欢 YAML 文件、API 和基础架构即代码 (IaaC)。Fleet 采用 API 优先设计,您在 UI 中能够执行的所有操作都可以使用 API 执行。这样您就可以与其他系统集成。如果您不想使用 Fleet,还可以在独立模式下使用 YAML 文件配置 Elastic 代理。


集中管理 Fleet


     Fleet 用作控制平面,让您可以集中管理大量代理。您可以在 Fleet 页面上查看所有代理的状态。在这个页面上,您可以看到哪些代理在线且运行正常,哪些代理运行不正常,以及它们上次签入的时间。您还可以看到代理二进制文件和代理策略的版本。

image.png

     您可以使用代理策略定义代理组。当您更改代理策略时,所有代理都会在下次签入时收到更新。您不再需要使用 SSH、Ansible Playbooks 或其他配置方法自行分发更新。

     Fleet 的另一个优势是,我们可以更好地保护代理。它会自动为每个代理生成 Elasticsearch API 密钥,并对正在运行的集成提供最小权限。API 密钥可以按代理逐个撤销,无需要在每个主机上存储涉及各种权限的共享凭证。此外,当您使用 Endpoint Security 运行 Elastic 代理时,代理可以保护自己免受主机上发生的威胁。

Fleet Server 是管理与 Elastic 代理通信的基础架构组件。它提供了用于更新代理的控制平面,并指示代理执行一些操作,如跨主机运行 OSQuery 或在网络层隔离主机以遏制安全威胁。它既可以集中部署,也可以部署在专用网络的边缘。

 

数据流让数据管理更加容易


     Elastic 代理收集的数据使用新的数据流命名方案进行存储。它将数据存储在比 Beats 更细粒度的索引中。它的优点包括:每个索引的字段数量更少、自动完成速度更快、存储更高效、对数据量来源的可见性更高,并且可以控制生命周期管理策略和索引权限。命名空间允许您以任何方式对数据进行分组,例如按环境或团队名称分组。

image.png

这对 Beats 用户来说有何影响?


     Beats 短时间内不会停用,您可以继续将它们与 Elastic 代理一起使用。当您将系统从 Beats 切换到 Elastic 代理时,可以并行运行这两个代理。

       虽然 Elastic 代理和 Fleet 更容易使用,但 Beats 在某些情况下仍会更好些, 我们将逐步消除这些问题。 Fleet 尚不支持输出到 Logstash 或 Kafka,它需要超级用户角色来完成,并且还需要 Internet 连接才能从 Elastic Package Registry 下载集成列表。我们还在努力将剩余的几个 Beats 模块转换为集成。请查看我们的比较页面,进一步了解两个代理的区别。


立即试用


     请打开 Kibana 并前往主菜单中的集成应用,自己试用一下。您可以从中看到一个集成列表,这个应用会引导您完成添加 Elastic 代理的整个过程。或者,您也可以打开 Fleet 应用,直接添加 Elastic 代理。

       Elastic 代理和 Fleet 都是免费且开放的。我们鼓励您与社区协同合作,以便可以在 GitHub 上找到 FleetElastic 代理的代码。我们期待着这段旅程中有社区与我们同行。

      我们希望这个版本能够让您更轻松地将自己的系统和应用程序与 Elastic Stack 集成。有了您的反馈,Elastic Stack 才会日臻完善,所以请在我们的论坛中分享您的想法。


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
5月前
|
存储 监控 数据挖掘
系统分析师:商业智能和业务流程管理的集成分析
系统分析师:商业智能和业务流程管理的集成分析
39 0
|
1月前
|
Web App开发 前端开发 JavaScript
如何快速与呼叫中心系统CTI/API/SDK接口集成
由于呼叫中心系统涉及通信、CTI、终端设备、中继线路等技术与概念,从事信息管理系统、ERP、CRM、工单系统等的研发人员一般不是非常熟悉这部分技术,当需要提供具备呼叫中心能力的解决方案时,往往要用较多的时间来研究这些相对复杂的技术,对接过程比较长,开发调试有一定的阻力,基于此,我们提出一种更加简便高效的集成方法,可以零代码集成呼叫中心平台,实现项目快速上线。
如何快速与呼叫中心系统CTI/API/SDK接口集成
|
1月前
|
监控 数据可视化 测试技术
集成阿里云 RPA 与现有系统
随着企业对自动化和数字化转型的需求不断增长,阿里云 RPA(机器人流程自动化)技术成为了提升业务效率和减少人工操作的重要工具。本文将介绍如何集成阿里云 RPA 与现有系统,以实现更高效的业务流程自动化。
|
3月前
|
Java BI Linux
java医院信息系统his源码,集成相关医保、农合接口,同医保或农合无缝融合
系统特点: 1、 基于一体化公共基础数据平台设计,给医务工作者提供了完整的工作平台。 2、 实现了核算、临床、决策、服务信息一体化,简化了系统软、硬件结构,降低了系统开发、实施和维护成本,提高了系统的运行效率。 3、 同时集成相关医保、农合接口,同医保或农合无缝融合。 4、B/S架构,采用JAVA编程,支持跨平台部署应用(Windows Linux),足够满足一级综合医院(专科二级及以下医院500床)的日常业务应用。能完全满足各地相关医保工程定点医疗机构统一标准社保接口设计规范要求。
|
3月前
|
移动开发 数据安全/隐私保护
钉钉可以集成企业内网部署的网盘系统实现账号单点登录吗?
最近接到客户的咨询,他们近期在公司局域网里部署了一套文档管理系统(一般叫私有网盘),领导希望平时通过手机钉钉就能访问到这套系统。客户就有些为难,钉钉是部署在公有云互联网环境的,而这套文档管理系统是部署在企业内网的,看上去应该打通不了,于是前来求助。
94 1
|
4月前
|
SQL 消息中间件 存储
TuGraph Analytics动态插件:快速集成大数据生态系统
插件机制为GeaFlow任务提供了外部数据源的集成能力扩展,GeaFlow支持从各类Connector中读写数据,GeaFlow将它们都识别为外部表,并将元数据存储在Catalog中。GeaFlow已有一些内置的插件,例如FileConnector,KafkaConnector,JDBCConnector,HiveConnector等。
|
5月前
|
数据采集 数据建模 API
系统分析师笔记-信息化与系统集成技术
系统分析师笔记-信息化与系统集成技术
|
6月前
|
存储 监控 前端开发
S/4HANA(本地部署或云版)跟 SAP 家族系统以及非SAP系统的集成,到底什么是推荐的方式?
S/4HANA(本地部署或云版)跟 SAP 家族系统以及非SAP系统的集成,到底什么是推荐的方式?
42 0
|
7月前
|
供应链 测试技术 应用服务中间件
软件测试案例 | 气象探测库存管理系统的集成测试计划
将经过单元测试的模块按照设计要求连接起来,组成规定的软件系统的过程被称为“集成”。集成测试也被称为组装测试、联合测试、子系统测试或部件测试等,其主要用于检查各个软件单元之间的接口是否正确。集成测试同时也是单元测试的逻辑扩展,即在单元测试基础之上将所有模块按照概要设计的要求组装成为子系统或系统,然后进行测试。但是,不同的集成策略会导致集成测试方法的选择不同。在实际工作中,时常有这样的情况发生: 每个模块都能单独工作,但是这些模块集成在一起后就不能正常工作。其主要原因是模块间相互调用时会引入许多新的问题: 数据经过接口可能丢失; 一个模块对另一个模块可能造成不应有的影响; 单个模块可以接受的误差在
113 0
软件测试案例 | 气象探测库存管理系统的集成测试计划
|
7月前
|
机器学习/深度学习 算法 机器人
【不确定非线性动力系统的优化算法】【动态集成系统优化与参数估计(DISOPE)技术】DISOPE + MOMENTUM + PARTAN 算法提高非线性动态系统的收敛性研究(Matlab代码实现)
【不确定非线性动力系统的优化算法】【动态集成系统优化与参数估计(DISOPE)技术】DISOPE + MOMENTUM + PARTAN 算法提高非线性动态系统的收敛性研究(Matlab代码实现)

相关产品

  • 检索分析服务 Elasticsearch版