《Elastic(中国)基础开发宝典》——Elastic Common Schema 的发展历程

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 《Elastic(中国)基础开发宝典》——Elastic Common Schema 的发展历程

两年前,我们发布了 Elastic Common Schema (下简称ECS),此后,我们度过了 顺滑的蜜月期:从分类字段到征求修正意见书,再到威胁情报字段,ECS在过去两 年中快速发展。本文将带您回顾ECS的发展历程,同时展望ECS的未来。


不必赘言,您也许已经对ECS 了如指掌,它为Elasticsearch中的数据结构提供了一致且可定制的方案,便于后者分析不同来源的数据。有了 ECS仪表盘和机器学 习作业等分析内容可以得到更广泛的应用,更容易地记住字段名,帮助客户获得更精确的搜索结果。


回首2019年,ECS1.0面世时只有279个字段。难以置信的是难以想象,在2021 3月发布的最新ECS1.9已经扩展到了了 36个字段集、762个字段。这样的发展 速度是对ECS所有团队成员努力与付出的鼓励与肯定,同时我们非常期待ECS的未来发展。

image.png

 

ECS已被Elastic Stack和解决方案采用ECSElastic Stack及其解决方案都实现了 优化结合。自2019年我们发布Elastic Security以来,映射到ECS的集成和检测规 则等内容呈爆发式增长。Elastic Observability也通过这一规则映射日志、指标和记 录,广泛地使用了 ECS


1. 联手社区成员,合力推动发展


Elastic社区的成员远不仅仅限于我们的企业员工。在我们的成长过程中,Elastic 社 区发挥着至关重要的作用,ECS也不例外。它与其他既有规则不同,来自社区的反 馈建议不断推动着ECS的发展。自ECS1.0面世以来,我们添加了无数字段和字段 集,涵盖了 IT运营、安全分析和APM等领域的新用例。这些增补很多都直接得益 于社区反馈。


2. 分类字段


ECS1.0发布后不久我们就发现分析师需要一个字段集来选择和过滤事件以便 将其纳入常见可视化和分析中,这一点可以通过将事件分组,形成一系列的通用类 别加以实现。于是,我们在ECS1.4中添加了以下四个分类字段四个分类字段:


event.kind

event.category

event.type

event.outcome


后来,我们又改进了 "event.category的允许值,来容纳配置、网络、注册表和会 话事件四个新类别。“event.kind的允许值也从9个增加至16新增类别有 admin管理员、alllowed允许、connection连接和start开始。值得骄傲的是我 们在分类字段中创建了 500多条安全检测规则,其建立在ECS字段的基础上,并利 用分类字段,确保这些规则能够跨越不同数据源发挥作用。

image.png

随着ECS的不断发展,我们的分类字段也在同步增加,因此,我们会时常跟进工作, 以确保分类字段便于使用。在ECS1.9中,我们增加了一些真实世界里的分类事件的 一些实例作为参考,其中包括防火墙、文件、IDS和用户事件。


3. ECS 的增补和更改——听你的!


2020年,我们发现需要优化大家提出修改意见的规则并配合相关讨论。因此,我 们在ECS RFC流程中引入了征求修正意见书(下简称RFC),目前已取得巨大成功。

在此之前,无论是在Elastic内部还是在更广泛的社区中,收集各领域专家的反馈意 见都很困难。令人欣慰的是,威胁情报字段正在在通过RFC流程中实现了积极的发 展,该项RFC讨论的留言居然多达164条以上。


我们现在的威胁情报字段集是经广大专家讨论后达成一致的成果。此外,我们另有 几项RFC正在推进,将为ECS带来一些激动人心的全新用例。这些提案包括电子邮 件、容器编排引擎和会话等字段集。一直以来,我们不断地征求面向这些提案的反 馈,如果您感兴趣,欢迎查看,我们也非常期待您对此发表观点与意见。

4. ECS 方案采用


我们已经看到供应商、合作伙伴和用户广泛采用ECS我们见证了许多供应商、合作 伙伴和用户采用ECS并获得了可观的收获。在ECS7.0版本中,我们转化了 Beats ECS模块来生成适用于ECS的数据符合ECS的数据,这是第一个重要的里程碑式的 重要节点。此后,越来越多的供应商和合作伙伴陆续选择并采用了 ECS,例如 Corelight为其传感器添加了 ECS支持这正是ECS伴随客户不断发展的愿景。


ECS的设计考虑了定制。ECS的设计以定制化为宗旨。因此,无数企业组织以ECS 为起点,对它进行扩展,以容纳适应自身特别需求的用例。这些组织有很多都曾尝 试过别的解决方案,甚至自行开发,因此我们很荣幸能看到这些企业组织信任ECS并将其选为实际应用的解决方案。


Uber就是其中之一。其安全工程负责人Wes O'Connell最近评论道:"采用ECS让 我们的团队事半功倍极大简化了安全调查。"您可以在WesElasticOn 2020演 讲中了解到更多关于Uber如何借助Elastic重塑企业防御能力的内容。


5. 简化 ECS 映射


目前,有很多客户已经采用了 ECS,我们也一直在关注客户的使用反馈以继续优化 产品,比如有客户认为将事件映射到ECS上的过程不够简便,如果之前没有接触过 Elasticsearch,使用ECS可能会很困难。目前,我们已经清晰认识到了这一点并 将改进映射到ECS的工作流程。此外,我们还有映射Crowdstrick事件的ECS- MapperECS-Loggers等工具,这是一个良好的开端,相信还有更多的发展空间。 事件映射到ECS上之后,我们下一步将改进验证ECS的合规性。不久前,我们提出 在Elastic Security中使用检测规则这是一个初步设想,未来会有更大的作为。

6. 总结


在庆祝ECS的两周岁生日之际,希望您现在充分了解了 ECS的发展历程和未来发展 方向。我们目睹了无数企业组织将ECS作为实际规则,对此不胜感激。希望在未来 两年能和过去两年一样精彩,相信ECS会给您带来非同寻常的惊喜!


一直以来,我们十分重视客户的反馈意见和想法。您可以通过ECS Slack频道、ECS 仓库报告和论坛论坛与我们联系。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
Web App开发 编解码 Ubuntu
YouTube下载视频教程:常用的网站软件插件APP都有涉及
有时候可能需要YouTube上的视频来进行一些操作,比如教程演示,语言学习,视频编辑等.....那么YouTube视频怎么下载下来呢?方法比较多。在这篇文章里我会给大家介绍一些下载YouTube视频的常用网站、浏览器插件、电脑软件和手机APP,方便大家找到最合适的方法去保存油管视频。
3014 1
YouTube下载视频教程:常用的网站软件插件APP都有涉及
|
4月前
|
监控 安全 Java
SpringBoot应用-Actuator监控
Spring Boot Actuator 是 Spring Boot 提供的一个独立模块,旨在通过简单的方式提供应用程序的监控和管理功能。Actuator 内置了多种端点(Endpoints),可以用于查看应用的健康状况、配置属性、日志级别等。
840 1
|
存储 Kubernetes 调度
在K8S中,⼀个pod的不同container能够分开被调动到不同的节点上吗?
在K8S中,⼀个pod的不同container能够分开被调动到不同的节点上吗?
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用合集之如何在MR任务中使用DECIMAL字段
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
142 2
|
安全 Shell Linux
Android11.0(R) MTK6771 user版本关闭 SELinux
Android11.0(R) MTK6771 user版本关闭 SELinux
1222 0
|
C# C++ 图形学
WPF特效-鱼游动动画3
原文:WPF特效-鱼游动动画3 WPF不支持骨骼,故使用3DMax导出了序列模型文件(.mtl;.obj)。 方法1: 使用Blend 2013打开所有obj文件,拖动排列一下即可在usercontrol中显示,使用RenderTargetBitmap生成png的序列图,使用Timer播放序列图即可。
1223 0
|
前端开发 JavaScript Go
EasyUI布局实战
           最近在忙着画原型图,学习的时间就更少了,但是可以尝试下提高效率。             前几天,师姐让我做一个可以伸缩的侧边栏,当时觉得这不就是JS里面的那个Demo么,然后就去改原型图了,之后学了一点儿EasyUI,打开师姐给我的代码后,发现他们的页面是用EasyUI做的布局,这就比单纯的JS简单多了,以前要一大段代码,现在只需两行,搞定一个向上的侧边栏。
1347 0
|
2天前
|
弹性计算 运维 搜索推荐
三翼鸟携手阿里云ECS g9i:智慧家庭场景的效能革命与未来生活新范式
三翼鸟是海尔智家旗下全球首个智慧家庭场景品牌,致力于提供覆盖衣、食、住、娱的一站式全场景解决方案。截至2025年,服务近1亿家庭,连接设备超5000万台。面对高并发、低延迟与稳定性挑战,全面升级为阿里云ECS g9i实例,实现连接能力提升40%、故障率下降90%、响应速度提升至120ms以内,成本降低20%,推动智慧家庭体验全面跃迁。

热门文章

最新文章