Sentry 监控 - Snuba 数据中台架构(Data Model 简介)

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: Sentry 监控 - Snuba 数据中台架构(Data Model 简介)

本节介绍数据在 Snuba 中的组织方式以及面向用户的数据如何映射到底层数据库(如: Clickhouse)。


Snuba 数据模型横向分为逻辑模型(logical model)和物理模型(physical model)。逻辑数据模型是 Snuba 客户端通过 Snuba 查询语言可见的。此模型中的元素可能会也可能不会 1:1 映射到数据库中的表。相反,物理模型将 1:1 映射到数据库概念(如表和视图)。


这种划分背后的原因是,它允许 Snuba 通过逻辑数据模型公开一个稳定的接口,并在内部执行复杂的映射,对不同的表(物理模型的一部分)执行查询,以一种对 client 透明的方式提高性能。


本节的其余部分概述了组成两个模型的概念以及它们如何相互连接。

下面描述的主要概念是数据集(dataset)、实体(entity)和存储(storage)。


微信图片_20220613000426.png


数据集



DatasetSnuba 数据的命名空间。它提供了自己的 schema,并且在逻辑模型和物理模型方面都独立于其他数据集。


数据集的示例是 discover(发现)outcomes(结果)sessions(会话)。他们之间没有任何关系。


数据集可以看作是定义其抽象数据模型及其具体数据模型的组件的容器,如下所述。


实体和实体类型



Snuba 向客户端公开的逻辑数据模型的基本块(fundamental block)是实体。在逻辑模型中,实体表示抽象概念(如 transactionerror)的实例。在实践中,Entity 对应于数据库表中的一行。Entity Type 是实体的类(如 Errors 或 Transactions)。


逻辑数据模型由一组 Entity Types 及其 relationships 组成。

每个 Entity Type 都有一个 schema,该模式由具有相关抽象数据类型的字段列表定义。 Dataset 的所有 Entity Types(可以有多个)的 schema 组成了对 Snuba client 可见的逻辑数据模型,Snuba 查询根据该模型进行验证。不应该暴露较低级别的概念。


Entity Types 明确包含在 Dataset 中。一个 Entity Type 不能出现在多个数据集中。


实体类型之间的关系


数据集中的实体类型在逻辑上是相关的。支持两种类型的关系:


  • 实体集关系(Entity Set Relationship)。这模仿了外键。这种关系旨在允许实体类型之间的连接。目前它只支持一对一一对多的关系。
  • 继承关系(Inheritance Relationship)。这模仿了名义上的子类型(subtyping)。一组实体类型可以共享一个父实体类型。子类型从父类型继承 schema。从语义上讲,父实体类型必须表示其类型从其继承的所有实体的联合。还必须能够查询父实体类型。这不能仅仅是一种逻辑关系。


实体类型和一致性


Entity TypeSnuba 可以提供一些强大的数据一致性保证的最大单元。具体来说,可以查询期望 Serializable Consistency(可序列化的一致性) 的实体类型。这不会扩展到跨越多个实体类型的任何查询,在这种情况下,我们最多将具有最终的一致性。

这也会对订阅查询(Subscription queries)产生影响。这些一次只能对一种实体类型起作用,否则,它们将需要实体类型之间的一致性,而我们不支持这种一致性。


请注意!

准确地说,一致性单位(取决于 Entity Type)甚至可以更小,并且取决于数据摄取主题(data ingestion topics)的分区方式(例如 project_id),实体类型是 Snuba 允许的最大值。


存储


Storage 表示并定义 Dataset 的物理数据模型。每个 Storage 表示在物理数据库概念中具体化,如表或具体化视图。因此,每个存储都有一个由字段及其类型定义的 schema,该字段反映了 storage 映射到的 DB table/view 的物理模式,并且能够提供生成 DDL 语句的所有详细信息,以在数据库上构建表。


Storage 能够将上面讨论的逻辑模型中的逻辑概念映射到数据库的物理概念,因此每个 Storage 都需要与一个 Entity Type 相关联。具体来说:


  • 每个 Entity Type 必须由至少一个 Readable Storage(我们可以在其上运行查询的 Storage)支持,但可以由多个 Storage(例如预聚合物化视图pre-aggregate materialized view)支持。每个 Entity Type 的多个 Storage 旨在允许查询优化。
  • 每个 Entity Type 必须由一个且仅一个用于摄取数据和填充数据库表的 Writable Storage 支持。
  • 每个 Storage 仅支持一种 Entity Type


示例



本节提供了一些示例,说明 Snuba data model 如何表示一些现实世界模型。

这些案例研究不一定反映当前的 Sentry production model,也不一定是同一部署的一部分。它们必须被视为孤立的例子。


单一实体数据集


这看起来像 Sentry 使用的 Outcomes 数据集。这实际上并没有反映截至 2020 年 4 月的 Outcomes。尽管设计 Outcomes 应该朝着这个方向发展。


微信图片_20220613000510.png


Dataset 只有一种 Entity Type,代表数据集摄取的单个 Outcome。查询 raw Outcome 非常缓慢,所以我们有两个 Storage。一个是反映我们摄取的数据的 Raw storage 和一个计算每小时聚合的 materialized view,查询效率更高。Query Planner 将根据查询是否可以在聚合数据上执行来选择 storage


多个实体类型数据集


此数据集的典型示例是 Discover 数据集。


微信图片_20220613000524.png


这具有三种 Entity TypeErrorsTransactions 并且它们都继承自 Events。这些形成了逻辑数据模型,因此查询 Events Entity Type 给出了 TransactionsErrors 的联合,但它只允许查询中存在两者之间的公共字段。


出于性能原因,Errors Entity Type 由两个 Storage 支持。一个是用于摄取数据的主要 Errors Storage,另一个是read only view(只读视图),在查询时对 Clickhosue 的负载较少,但提供较低的一致性保证。 Transactions 只有一个 storage,并且有一个 Merge Table 来为 Events 提供服务(本质上是两个表联合的视图)。


连接实体类型


这是一个简单的数据集示例,其中包含可以在查询中连接在一起的多个实体类型。


微信图片_20220613000540.png


GroupedMessageGroupAssingee 可以是带有 Errorsleft join 查询的一部分。其余部分与前面示例中讨论的内容类似。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
3月前
|
消息中间件 SQL 监控
Serverless 应用的监控与调试问题之BMQ的架构是怎么支持流批一体的
Serverless 应用的监控与调试问题之BMQ的架构是怎么支持流批一体的
|
3月前
|
存储 监控 负载均衡
微服务架构中的服务治理与监控技术
【8月更文挑战第3天】微服务架构中的服务治理与监控是确保系统稳定、高效运行的重要手段。通过构建注册中心实现服务的自动注册和发现,通过部署监控工具实现对服务的全面监控,可以有效地提高系统的可靠性和可用性。未来,随着技术的不断发展,服务治理与监控技术也将不断完善和优化,为微服务架构的广泛应用提供更加坚实的支撑。
|
3月前
|
存储 监控 Cloud Native
Serverless 应用的监控与调试问题之Flink流批一体在架构层面有什么演进
Serverless 应用的监控与调试问题之Flink流批一体在架构层面有什么演进
|
5月前
|
监控 持续交付 数据安全/隐私保护
Python进行微服务架构的监控
【6月更文挑战第16天】
73 5
Python进行微服务架构的监控
|
4月前
|
负载均衡 监控 Kubernetes
Service Mesh 是一种用于处理服务间通信的基础设施层,它通常与微服务架构一起使用,以提供诸如服务发现、负载均衡、熔断、监控、追踪和安全性等功能。
Service Mesh 是一种用于处理服务间通信的基础设施层,它通常与微服务架构一起使用,以提供诸如服务发现、负载均衡、熔断、监控、追踪和安全性等功能。
|
6月前
|
监控 JavaScript 安全
监控内网电脑软件设计与实现:基于Node.js的服务器端架构分析
在当今信息技术高度发达的时代,监控内网电脑的需求日益增长。企业需要确保网络安全,个人用户也需要监控家庭网络以保护隐私和安全。本文将介绍一种基于Node.js的服务器端架构,用于设计和实现监控内网电脑软件。
210 0
|
6月前
|
存储 数据采集 大数据
Data Lake架构揭秘
Data Lake架构揭秘
82 0
|
5天前
|
缓存 负载均衡 JavaScript
探索微服务架构下的API网关模式
【10月更文挑战第37天】在微服务架构的海洋中,API网关犹如一座灯塔,指引着服务的航向。它不仅是客户端请求的集散地,更是后端微服务的守门人。本文将深入探讨API网关的设计哲学、核心功能以及它在微服务生态中扮演的角色,同时通过实际代码示例,揭示如何实现一个高效、可靠的API网关。
|
4天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
4天前
|
Dubbo Java 应用服务中间件
服务架构的演进:从单体到微服务的探索之旅
随着企业业务的不断拓展和复杂度的提升,对软件系统架构的要求也日益严苛。传统的架构模式在应对现代业务场景时逐渐暴露出诸多局限性,于是服务架构开启了持续演变之路。从单体架构的简易便捷,到分布式架构的模块化解耦,再到微服务架构的精细化管理,企业对技术的选择变得至关重要,尤其是 Spring Cloud 和 Dubbo 等微服务技术的对比和应用,直接影响着项目的成败。 本篇文章会从服务架构的演进开始分析,探索从单体项目到微服务项目的演变过程。然后也会对目前常见的微服务技术进行对比,找到目前市面上所常用的技术给大家进行讲解。
15 1
服务架构的演进:从单体到微服务的探索之旅