Palo Doris高级指南来了!

简介: Palo Doris高级指南来了!

高级使用指南

在本章节中,我们将罗列 Doris 一些常用的高级特性,帮助用户对 Doris 有一个更全面的了解。

部分特性的具体使用说明,我们会在单独的章节中介绍。

关系表和分区分桶

在 Doris 中,用户数据是以二维关系表的方式存储的。并且基于 Doris 的 Shard-Nothing 分布式架构,一张表的数据会根据用户指定的分区和分桶方式,水平切分成多个数据分片(Tablet),存储在不同节点上。

数据模型

Doris 的一大特点之一是同时支持快速的明细数据查询和聚合数据查询。用户可以在建表时指定表的数据模型,以适应不同的应用场景。

Doris 目前支持三种数据模型,分别是:1)Duplicate 明细模型。2)Aggregate 聚合模型。3)Unique 主键唯一模型。


物化视图

物化视图是一种以空间换时间的数据分析加速技术。Doris 支持在基础表之上建立物化视图。比如可以在明细数据模型的表上建立基于部分列的聚合视图,这样可以同时满足对明细数据和聚合数据的快速查询。

同时,Doris 能够自动保证物化视图和基础表的数据一致性,并且在查询时自动匹配合适的物化视图,极大降低用户的数据维护成本,为用户提供一个一致且透明的查询加速体验。

表结构变更

Doris 支持在线的表结构变更操作。这些操作包括增加、删除、重排列,修改列类型,添加、删除分区,重命名库、表、分区等。所有这些操作都不会影响当前正在执行的导入或查询操作,保证用户能够在生产环境中平滑的进行表结构的变更。


多种导入方式

在 基础使用指南 中,我们介绍了如何导入存储在 BOS 上的数据。Doris 本身还支持多种导入方式,如通过 HTTP 协议进行本地数据的导入,或者通过 Routine Load 功能订阅 Kafka 中的消息。也可以通过 INSERT 语句直接进行近实时的数据导入。


数据删除和更新

Doris 支持通过两种方式对已导入的数据进行删除。一种是通过 DELETE FROM 语句,指定 WHERE 条件对数据进行删除。这种方式比较通用,适合频率较低的定时删除任务。

另一种删除方式仅针对 Unique 主键唯一模型,通过导入数据的方式将需要删除的主键行数据进行导入。Doris 内部会通过删除标记位对数据进行最终的物理删除。这种删除方式适合以实时的方式对数据进行删除。

相关文章
|
SQL 关系型数据库 SDN
双活中心数据一致性
双活中心数据一致性
675 2
|
2月前
|
监控 测试技术 API
n8n自动化测试教程 (1):环境搭建与初识n8n
n8n是一款开源、可视化的工作流自动化工具,测试工程师可通过拖拽节点快速构建API测试流程,实现测试编排、数据管理、自动化监控与告警等功能,提升测试效率与覆盖率。
|
人工智能 监控 安全
智能家居技术的未来:从自动化到人工智能
随着科技的飞速发展,智能家居已经从简单的自动化设备进化到了集成人工智能的高级系统。本文将探讨智能家居技术的演变历程、当前的应用实例以及未来的发展趋势,旨在为读者揭示如何通过技术创新实现家居生活的智能化和个性化。我们将从智能家居的基本概念出发,逐步深入到其背后的技术原理,最终展望人工智能如何塑造未来家居生活的可能性。
812 0
|
机器学习/深度学习 算法 测试技术
Python贷款违约预测:Logistic、Xgboost、Lightgbm、贝叶斯调参/GridSearchCV调参|数据分享
Python贷款违约预测:Logistic、Xgboost、Lightgbm、贝叶斯调参/GridSearchCV调参|数据分享
|
SQL Java easyexcel
【Java】百万数据excel导出功能如何实现
【Java】百万数据excel导出功能如何实现
674 0
|
SQL Apache 数据库
doris数据库的表重命名语法是什么
【6月更文挑战第24天】doris数据库的表重命名语法是什么
2847 0
|
弹性计算 关系型数据库 MySQL
【ECS生长万物之开源】手动搭建Magento电子商务网站
Magento是一款开源电商网站框架,其丰富的模块化架构体系及拓展功能可为大中型站点提供解决方案。Magento使用PHP开发,支持版本范围从PHP 5.6到PHP 7.1,并使用MySQL存储数据。本教程主要介绍如何在CentOS 7操作系统的ECS实例上搭建Magento电子商务网站。
【ECS生长万物之开源】手动搭建Magento电子商务网站
|
存储 自然语言处理 算法
Node内置模块 【crypto加密模块】
Node内置模块 【crypto加密模块】
11406 1
|
消息中间件 Java 语音技术
Python Http Server实现服务监听和地址回调
在日常第三方地址调用过程中,很多接口时异步接口,可以使用轮询的方式基于第一次请求返回的参数查询处理的结果,这种方式往往比较麻烦,特别是对一些长时间无法处理的任务,往往需要多次轮询才能获取结果。通过配置回调地址的方式来实现调用结果的监听;部分服务如阿里云MNS Topic、腾讯云的CMQ,都支持通过配置HttpEndpoint的方式实现消息的http方式订阅监听;这两种模式都是本地启动:HTTP Server,第三方服务通过已经配置的地址来请求服务,最终实现服务的监听。下面通过一个Python3 Http Server实现对:异步长文本语音合成和mns topic演示相关功能。
24565 7
Python Http Server实现服务监听和地址回调
下一篇
oss云网关配置