开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres相对于计算节点,存储节点应该属于外部集群,读取的是外部存储层的数据?

Hologres相对于计算节点,存储节点应该属于外部集群,读取的是外部存储层的数据?只是对于用户是透明的,所以叫做内部表,并且计算节点可以操纵存储层进行索引数据的构建。相对于湖仓外部表,我们只具有读的权限。我可以这样理解嘛?

展开
收起
真的很搞笑 2024-03-27 20:30:08 70 0
5 条回答
写回答
取消 提交回答
  • 您的理解基本正确。Hologres是一个全托管的、兼容PostgreSQL的实时交互式分析服务,它允许用户轻松地对数据湖中的数据进行即时查询和分析。

    在Hologres架构中,计算节点和存储节点通常是分离的。计算节点负责处理查询和分析任务,而存储节点则负责管理数据存储。这种架构设计可以提供更好的扩展性和性能,因为计算资源和存储资源可以根据需要独立扩展。

    存储节点可能属于外部集群,这意味着它们可能不属于Hologres服务本身,而是属于其他服务或系统。这些存储节点提供了数据的持久化存储,而Hologres可以通过网络访问这些数据。对于用户来说,这些存储在外部集群中的数据就像存储在Hologres内部一样,因此被称为“内部表”。

    用户可以通过Hologres计算节点对这些内部表进行查询和分析,就像它们是存储在Hologres本地一样。此外,Hologres还可以利用其索引和优化技术来提高查询效率,即使在数据量非常大的情况下也能保持高性能。

    相对于湖仓外部表,用户通常只具有读取权限,这意味着他们可以查询这些外部表的数据,但不能直接修改或删除数据。这是因为外部表的数据通常由其他系统管理,而Hologres只是提供了一个查询和分析这些数据的接口。

    总结一下,您的理解是正确的,Hologres计算节点可以操纵存储层进行索引数据的构建,而存储节点可能属于外部集群,读取的是外部存储层的数据。用户可以通过Hologres查询这些数据,但通常只具有读取权限。

    2024-03-31 08:22:01
    赞同 展开评论 打赏
  • Hlogres是阿里云提供的一种交互式分析服务,它确实对用户隐藏了底层的存储细节,使得用户可以像操作普通数据库表一样操作数据。在Hologres的架构中,计算节点和存储节点通常是分离的,这意味着计算资源和存储资源是独立扩展和管理的。

    您的理解基本正确,下面我会详细解释一下:

    1. 外部集群/存储层:Hologres的存储节点可能属于一个外部的集群,这些节点负责管理数据的持久化存储。这些存储节点通常是一个分布式文件系统或者对象存储服务,如OSS(Object Storage Service)。

    2. 内部表:从用Hologres提供了内部表的概念,这些内部表对用户来说是透明的。用户通过SQL语句来查询和操作这些表,而不需要关心数据是如何存储和管理的。

    3. 索引数据的构建:计算节点在处理查询时,会利用存储层的元数据信息来优化查询性能。这可能涉及到构建索引或者其他的优化策略,以便快速定位和检索数据。

    4. 湖仓外部表:Hologres还支持外部表的概念,这些表直接引用存储在数据湖或数据仓库中的数据。对于这些外部表,用户通常只具有读取数据的权限,而不能修改数据。

    总的来说,Hologres通过抽象层将复杂的存储细节隐藏起来,让用户能够专注于数据分析和查询,而不必关心底层的存储管理和数据分布问题。这种设计使得Hologres能够高效地处理大规模数据分析任务,同时保持了良好的用户体验。

    2024-03-30 22:21:40
    赞同 展开评论 打赏
  • Hologres是阿里云提供的一种交互式分析服务,它能够将数据仓库和数据湖融合在一起,实现实时的数据分析。在Hologres的架构中,计算节点和存储节点通常是分离的,这意味着计算资源和存储资源可以独立扩展,从而提高了系统的灵活性和可伸缩性。

    您的理解基本上是正确的。在Hologres中,存储节点通常属于外部集群,它们管理着底层的存储层,这些存储层可能包括OSS(对象存储服务)或者其他云存储服务。计算节点负责执行查询和分析任务,它们可以访问存储节点中的数据,并在需要时对数据进行索引以优化查询性能。

    对于用户来说,Hologres提供的是一个透明的服务,用户不需要关心数据是如何存储和管理的。用户在Hologres中创建的表,无论是内部表还是外部表,都可以通过SQL语句来查询和操作。内部表通常用于存储经常访问的数据,而外部表则更多地用于引用数据湖中的原始数据,这些数据可能存储在OSS等外部存储服务中。

    对于湖仓外部表,用户通常只有读取权限,这意味着用户可以查询这些表,但可能无法直接修改表中的数据。这种设计有助于保护数据湖中的原始数据不被误修改,同时也确保了数据的安全性。

    总的来说,您的理解是符合Hologres的设计原则的。Hologres通过将计算和存储分离,以及提供内部表和外部表的概念,旨在简化大数据处理,让用户能够更加专注于数据分析,而不必关心底层的复杂性。

    2024-03-28 18:08:18
    赞同 展开评论 打赏
  • 是的 物理上是“外部” 但管理方式是“内部” 所以我们说资源上 计算和存储可以独立扩展,不绑定。 ,此回答整理自钉群“实时数仓Hologres交流群”

    2024-03-28 09:44:56
    赞同 展开评论 打赏
  • Hologres 是一种支持实时分析和数据仓库功能的云原生服务,它采用了一种混合存储架构,内部集成了存储和计算资源,对外表现为统一的服务。在Hologres中,存储节点和计算节点并非完全独立的外部集群,而是协同工作的组成部分,共同构成了Hologres的服务集群。

    存储层方面,Hologres支持多种存储方式,包括但不限于行存、列存和行列混存,并且支持高效的数据压缩和索引机制,以便快速查询和分析。计算节点可以直接操作存储层数据,无论是对内部表(存储在Hologres内部)还是对外部表(如OSS、MaxCompute等外部数据源)的数据进行索引构建、数据查询等操作。

    用户在Hologres中创建的内部表,数据实际存储在Hologres自身的存储系统中,计算节点可以直接对这些内部表进行增删改查操作,包括构建索引等。而外部表则是Hologres提供了对其他数据源的访问能力,用户可以在Hologres中定义一个指向外部数据源的表结构,对这些数据进行查询,但对这些外部表的写权限则受限于外部数据源的权限模型。

    所以,相比于湖仓外部表,Hologres内部表在权限和操作方面更为灵活,既可以进行读取也可以进行写入,并且计算节点能进行更深层次的索引优化。而外部表则更多强调数据联邦和统一查询的便利性,权限上可能仅限于读取。

    2024-03-28 08:35:15
    赞同 2 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 李佳林 立即下载
    阿里云实时数仓Hologres技术揭秘2.0 立即下载
    实时数仓Hologres技术实战一本通2.0版(下) 立即下载