Palo Doris高级指南来了!

简介: Palo Doris高级指南来了!

高级使用指南

在本章节中,我们将罗列 Doris 一些常用的高级特性,帮助用户对 Doris 有一个更全面的了解。

部分特性的具体使用说明,我们会在单独的章节中介绍。

关系表和分区分桶

在 Doris 中,用户数据是以二维关系表的方式存储的。并且基于 Doris 的 Shard-Nothing 分布式架构,一张表的数据会根据用户指定的分区和分桶方式,水平切分成多个数据分片(Tablet),存储在不同节点上。

数据模型

Doris 的一大特点之一是同时支持快速的明细数据查询和聚合数据查询。用户可以在建表时指定表的数据模型,以适应不同的应用场景。

Doris 目前支持三种数据模型,分别是:1)Duplicate 明细模型。2)Aggregate 聚合模型。3)Unique 主键唯一模型。


物化视图

物化视图是一种以空间换时间的数据分析加速技术。Doris 支持在基础表之上建立物化视图。比如可以在明细数据模型的表上建立基于部分列的聚合视图,这样可以同时满足对明细数据和聚合数据的快速查询。

同时,Doris 能够自动保证物化视图和基础表的数据一致性,并且在查询时自动匹配合适的物化视图,极大降低用户的数据维护成本,为用户提供一个一致且透明的查询加速体验。

表结构变更

Doris 支持在线的表结构变更操作。这些操作包括增加、删除、重排列,修改列类型,添加、删除分区,重命名库、表、分区等。所有这些操作都不会影响当前正在执行的导入或查询操作,保证用户能够在生产环境中平滑的进行表结构的变更。


多种导入方式

在 基础使用指南 中,我们介绍了如何导入存储在 BOS 上的数据。Doris 本身还支持多种导入方式,如通过 HTTP 协议进行本地数据的导入,或者通过 Routine Load 功能订阅 Kafka 中的消息。也可以通过 INSERT 语句直接进行近实时的数据导入。


数据删除和更新

Doris 支持通过两种方式对已导入的数据进行删除。一种是通过 DELETE FROM 语句,指定 WHERE 条件对数据进行删除。这种方式比较通用,适合频率较低的定时删除任务。

另一种删除方式仅针对 Unique 主键唯一模型,通过导入数据的方式将需要删除的主键行数据进行导入。Doris 内部会通过删除标记位对数据进行最终的物理删除。这种删除方式适合以实时的方式对数据进行删除。

相关文章
|
数据采集 消息中间件 存储
3秒学不会Palo Doris的数据导入你打我!(四)
3秒学不会Palo Doris的数据导入你打我!
381 0
|
10天前
|
监控 Oracle 关系型数据库
实时计算 Flink版操作报错合集之在配置连接时,添加了scan.startup.mode参数后,出现报错。是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
665 0
|
1月前
|
关系型数据库 MySQL Java
实时计算 Flink版产品使用合集之通过BE的IP进行连接,而不通过FE进行转换,具体的操作步骤是怎样的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之如何配置server-id
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
消息中间件 Java 数据库连接
实时计算 Flink版产品使用合集之将sdkMode从rpc模式改为jdbc模式后,table.exec.mini-batch.enabled参数还生效吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
弹性计算 分布式计算 DataWorks
DataWorks怎么看 odps.asec_comml_adm 的出口ip是多少啊?
DataWorks怎么看 odps.asec_comml_adm 的出口ip是多少啊?
57 1
|
SQL 数据安全/隐私保护 UED
Palo Doris版五分钟快速入门!
Palo Doris版五分钟快速入门!
209 0
Palo Doris版五分钟快速入门!
|
SQL 存储 搜索推荐
浅谈 Apache Doris FE 处理查询 SQL 源码解析
浅谈 Apache Doris FE 处理查询 SQL 源码解析
791 0
浅谈 Apache Doris FE 处理查询 SQL 源码解析
|
SQL 云安全 关系型数据库
Palo Doris不会用?(基础指南)
Palo Doris不会用?(基础指南)
139 0
|
消息中间件 存储 JSON
3秒学不会Palo Doris的数据导入你打我!(一)
3秒学不会Palo Doris的数据导入你打我!
377 0