《Elastic(中国)基础开发宝典》——Elastic Common Schema 的发展历程

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 《Elastic(中国)基础开发宝典》——Elastic Common Schema 的发展历程

两年前,我们发布了 Elastic Common Schema (下简称ECS),此后,我们度过了 顺滑的蜜月期:从分类字段到征求修正意见书,再到威胁情报字段,ECS在过去两 年中快速发展。本文将带您回顾ECS的发展历程,同时展望ECS的未来。


不必赘言,您也许已经对ECS 了如指掌,它为Elasticsearch中的数据结构提供了一致且可定制的方案,便于后者分析不同来源的数据。有了 ECS仪表盘和机器学 习作业等分析内容可以得到更广泛的应用,更容易地记住字段名,帮助客户获得更精确的搜索结果。


回首2019年,ECS1.0面世时只有279个字段。难以置信的是难以想象,在2021 3月发布的最新ECS1.9已经扩展到了了 36个字段集、762个字段。这样的发展 速度是对ECS所有团队成员努力与付出的鼓励与肯定,同时我们非常期待ECS的未来发展。

image.png

 

ECS已被Elastic Stack和解决方案采用ECSElastic Stack及其解决方案都实现了 优化结合。自2019年我们发布Elastic Security以来,映射到ECS的集成和检测规 则等内容呈爆发式增长。Elastic Observability也通过这一规则映射日志、指标和记 录,广泛地使用了 ECS


1. 联手社区成员,合力推动发展


Elastic社区的成员远不仅仅限于我们的企业员工。在我们的成长过程中,Elastic 社 区发挥着至关重要的作用,ECS也不例外。它与其他既有规则不同,来自社区的反 馈建议不断推动着ECS的发展。自ECS1.0面世以来,我们添加了无数字段和字段 集,涵盖了 IT运营、安全分析和APM等领域的新用例。这些增补很多都直接得益 于社区反馈。


2. 分类字段


ECS1.0发布后不久我们就发现分析师需要一个字段集来选择和过滤事件以便 将其纳入常见可视化和分析中,这一点可以通过将事件分组,形成一系列的通用类 别加以实现。于是,我们在ECS1.4中添加了以下四个分类字段四个分类字段:


event.kind

event.category

event.type

event.outcome


后来,我们又改进了 "event.category的允许值,来容纳配置、网络、注册表和会 话事件四个新类别。“event.kind的允许值也从9个增加至16新增类别有 admin管理员、alllowed允许、connection连接和start开始。值得骄傲的是我 们在分类字段中创建了 500多条安全检测规则,其建立在ECS字段的基础上,并利 用分类字段,确保这些规则能够跨越不同数据源发挥作用。

image.png

随着ECS的不断发展,我们的分类字段也在同步增加,因此,我们会时常跟进工作, 以确保分类字段便于使用。在ECS1.9中,我们增加了一些真实世界里的分类事件的 一些实例作为参考,其中包括防火墙、文件、IDS和用户事件。


3. ECS 的增补和更改——听你的!


2020年,我们发现需要优化大家提出修改意见的规则并配合相关讨论。因此,我 们在ECS RFC流程中引入了征求修正意见书(下简称RFC),目前已取得巨大成功。

在此之前,无论是在Elastic内部还是在更广泛的社区中,收集各领域专家的反馈意 见都很困难。令人欣慰的是,威胁情报字段正在在通过RFC流程中实现了积极的发 展,该项RFC讨论的留言居然多达164条以上。


我们现在的威胁情报字段集是经广大专家讨论后达成一致的成果。此外,我们另有 几项RFC正在推进,将为ECS带来一些激动人心的全新用例。这些提案包括电子邮 件、容器编排引擎和会话等字段集。一直以来,我们不断地征求面向这些提案的反 馈,如果您感兴趣,欢迎查看,我们也非常期待您对此发表观点与意见。

4. ECS 方案采用


我们已经看到供应商、合作伙伴和用户广泛采用ECS我们见证了许多供应商、合作 伙伴和用户采用ECS并获得了可观的收获。在ECS7.0版本中,我们转化了 Beats ECS模块来生成适用于ECS的数据符合ECS的数据,这是第一个重要的里程碑式的 重要节点。此后,越来越多的供应商和合作伙伴陆续选择并采用了 ECS,例如 Corelight为其传感器添加了 ECS支持这正是ECS伴随客户不断发展的愿景。


ECS的设计考虑了定制。ECS的设计以定制化为宗旨。因此,无数企业组织以ECS 为起点,对它进行扩展,以容纳适应自身特别需求的用例。这些组织有很多都曾尝 试过别的解决方案,甚至自行开发,因此我们很荣幸能看到这些企业组织信任ECS并将其选为实际应用的解决方案。


Uber就是其中之一。其安全工程负责人Wes O'Connell最近评论道:"采用ECS让 我们的团队事半功倍极大简化了安全调查。"您可以在WesElasticOn 2020演 讲中了解到更多关于Uber如何借助Elastic重塑企业防御能力的内容。


5. 简化 ECS 映射


目前,有很多客户已经采用了 ECS,我们也一直在关注客户的使用反馈以继续优化 产品,比如有客户认为将事件映射到ECS上的过程不够简便,如果之前没有接触过 Elasticsearch,使用ECS可能会很困难。目前,我们已经清晰认识到了这一点并 将改进映射到ECS的工作流程。此外,我们还有映射Crowdstrick事件的ECS- MapperECS-Loggers等工具,这是一个良好的开端,相信还有更多的发展空间。 事件映射到ECS上之后,我们下一步将改进验证ECS的合规性。不久前,我们提出 在Elastic Security中使用检测规则这是一个初步设想,未来会有更大的作为。

6. 总结


在庆祝ECS的两周岁生日之际,希望您现在充分了解了 ECS的发展历程和未来发展 方向。我们目睹了无数企业组织将ECS作为实际规则,对此不胜感激。希望在未来 两年能和过去两年一样精彩,相信ECS会给您带来非同寻常的惊喜!


一直以来,我们十分重视客户的反馈意见和想法。您可以通过ECS Slack频道、ECS 仓库报告和论坛论坛与我们联系。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
6月前
|
存储 安全 数据处理
Elastic 中国开发者大会2023最新干货——Elasticsearch 7、8 新功能一网打尽
Elastic 中国开发者大会2023最新干货——Elasticsearch 7、8 新功能一网打尽
64 0
|
6月前
|
SQL 数据可视化 大数据
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
401 33
|
数据采集 算法 数据可视化
《Elastic(中国)产品应用实战》——七、使用Elastic Stack洞察GitHub开源项目的开发效能(下)
《Elastic(中国)产品应用实战》——七、使用Elastic Stack洞察GitHub开源项目的开发效能(下)
|
数据采集 数据可视化 数据挖掘
《Elastic(中国)产品应用实战》——七、使用Elastic Stack洞察GitHub开源项目的开发效能(上)
《Elastic(中国)产品应用实战》——七、使用Elastic Stack洞察GitHub开源项目的开发效能(上)
|
监控 Java 大数据
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(4)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(4)
|
存储 缓存 安全
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(3)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(3)
106 0
|
消息中间件 缓存 JSON
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(2)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(2)
134 0
|
存储 缓存 自然语言处理
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(1)
带你读《Elastic Stack 实战手册》之83:——4.3.2.Elasticsearch 开发人员最佳实践指南(1)
135 0
|
存储 缓存 Cloud Native
《Elastic(中国)基础开发宝典》——添加免费且开放的 Elastic APM 作为Elastic可观测性部署的一部分(下)
《Elastic(中国)基础开发宝典》——添加免费且开放的 Elastic APM 作为Elastic可观测性部署的一部分(下)
|
安全 JavaScript 前端开发
《Elastic(中国)基础开发宝典》——添加免费且开放的 Elastic APM 作为Elastic可观测性部署的一部分(上)
《Elastic(中国)基础开发宝典》——添加免费且开放的 Elastic APM 作为Elastic可观测性部署的一部分(上)