《Elastic（中国）基础开发宝典》——Elastic Common Schema 的发展历程

两年前，我们发布了 Elastic Common Schema （下简称ECS）,此后，我们度过了 顺滑的蜜月期：从分类字段到征求修正意见书，再到威胁情报字段，ECS在过去两 年中快速发展。本文将带您回顾ECS的发展历程，同时展望ECS的未来。

不必赘言，您也许已经对ECS 了如指掌，它为Elasticsearch中的数据结构提供了一致且可定制的方案，便于后者分析不同来源的数据。有了 ECS，仪表盘和机器学 习作业等分析内容可以得到更广泛的应用，更容易地记住字段名，帮助客户获得更精确的搜索结果。

回首2019年，ECS1.0面世时只有279个字段。难以置信的是难以想象，在2021 年3月发布的最新ECS1.9已经扩展到了了 36个字段集、762个字段。这样的发展 速度是对ECS所有团队成员努力与付出的鼓励与肯定，同时我们非常期待ECS的未来发展。

ECS已被Elastic Stack和解决方案采用ECS和Elastic Stack及其解决方案都实现了 优化结合。自2019年我们发布Elastic Security以来，映射到ECS的集成和检测规 则等内容呈爆发式增长。Elastic Observability也通过这一规则映射日志、指标和记 录，广泛地使用了 ECS。

1. 联手社区成员，合力推动发展

Elastic社区的成员远不仅仅限于我们的企业员工。在我们的成长过程中，Elastic 社 区发挥着至关重要的作用，ECS也不例外。它与其他既有规则不同，来自社区的反 馈建议不断推动着ECS的发展。自ECS1.0面世以来，我们添加了无数字段和字段 集，涵盖了 IT运营、安全分析和APM等领域的新用例。这些增补很多都直接得益 于社区反馈。

2. 分类字段

ECS1.0发布后不久，我们就发现，分析师需要一个字段集来选择和过滤事件，以便 将其纳入常见可视化和分析中，这一点可以通过将事件分组，形成一系列的通用类 别加以实现。于是，我们在ECS1.4中添加了以下四个分类字段四个分类字段：

• event.kind

• event.category

• event.type

• event.outcome

后来，我们又改进了 "event.category”的允许值，来容纳配置、网络、注册表和会 话事件四个新类别。“event.kind”的允许值也从9个增加至16个，新增类别有 admin管理员、alllowed允许、connection连接和start开始。值得骄傲的是，我 们在分类字段中创建了 500多条安全检测规则，其建立在ECS字段的基础上，并利 用分类字段，确保这些规则能够跨越不同数据源发挥作用。

随着ECS的不断发展，我们的分类字段也在同步增加，因此，我们会时常跟进工作， 以确保分类字段便于使用。在ECS1.9中，我们增加了一些真实世界里的分类事件的 一些实例作为参考，其中包括防火墙、文件、IDS和用户事件。

3. ECS 的增补和更改——听你的！

2020年，我们发现需要优化大家提出修改意见的规则，并配合相关讨论。因此，我 们在ECS RFC流程中引入了征求修正意见书（下简称RFC）,目前已取得巨大成功。

在此之前，无论是在Elastic内部还是在更广泛的社区中，收集各领域专家的反馈意 见都很困难。令人欣慰的是，威胁情报字段正在在通过RFC流程中实现了积极的发 展，该项RFC讨论的留言居然多达164条以上。

我们现在的威胁情报字段集是经广大专家讨论后达成一致的成果。此外，我们另有 几项RFC正在推进，将为ECS带来一些激动人心的全新用例。这些提案包括电子邮 件、容器编排引擎和会话等字段集。一直以来，我们不断地征求面向这些提案的反 馈，如果您感兴趣，欢迎查看，我们也非常期待您对此发表观点与意见。

4. ECS 方案采用

我们已经看到供应商、合作伙伴和用户广泛采用ECS我们见证了许多供应商、合作 伙伴和用户采用ECS并获得了可观的收获。在ECS7.0版本中，我们转化了 Beats ECS模块来生成适用于ECS的数据符合ECS的数据，这是第一个重要的里程碑式的 重要节点。此后，越来越多的供应商和合作伙伴陆续选择并采用了 ECS，例如 Corelight为其传感器添加了 ECS支持，这正是ECS伴随客户不断发展的愿景。

ECS的设计考虑了定制。ECS的设计以定制化为宗旨。因此，无数企业组织以ECS 为起点，对它进行扩展，以容纳适应自身特别需求的用例。这些组织有很多都曾尝 试过别的解决方案，甚至自行开发，因此我们很荣幸能看到这些企业组织信任ECS， 并将其选为实际应用的解决方案。

Uber就是其中之一。其安全工程负责人Wes O'Connell最近评论道："采用ECS让 我们的团队事半功倍，极大简化了安全调查。"您可以在Wes的ElasticOn 2020演 讲中了解到更多关于Uber如何借助Elastic重塑企业防御能力的内容。

5. 简化 ECS 映射

目前，有很多客户已经采用了 ECS,我们也一直在关注客户的使用反馈以继续优化 产品，比如有客户认为将事件映射到ECS上的过程不够简便，如果之前没有接触过 Elasticsearch,使用ECS可能会很困难。目前，我们已经清晰认识到了这一点，并 将改进映射到ECS的工作流程。此外，我们还有映射Crowdstrick事件的ECS- Mapper和ECS-Loggers等工具，这是一个良好的开端,相信还有更多的发展空间。 事件映射到ECS上之后，我们下一步将改进验证ECS的合规性。不久前，我们提出 在Elastic Security中使用检测规则，这是一个初步设想，未来会有更大的作为。

6. 总结

在庆祝ECS的两周岁生日之际，希望您现在充分了解了 ECS的发展历程和未来发展 方向。我们目睹了无数企业组织将ECS作为实际规则，对此不胜感激。希望在未来 两年能和过去两年一样精彩，相信ECS会给您带来非同寻常的惊喜！

一直以来，我们十分重视客户的反馈意见和想法。您可以通过ECS Slack频道、ECS 仓库报告和论坛论坛与我们联系。