Apache Doris 4.0.3 版本正式发布

本文涉及的产品
PolarClaw,2核4GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: 亲爱的社区小伙伴们,**Apache Doris 4.0.3 版本已正式发布。**此版本新增了在 AI & Search、湖仓一体、查询引擎等方面的能力,并同步进行了多项优化改进及问题修复,欢迎下载体验!

亲爱的社区小伙伴们,Apache Doris 4.0.3 版本已正式发布。此版本新增了在 AI & Search、湖仓一体、查询引擎等方面的能力,并同步进行了多项优化改进及问题修复,欢迎下载体验!

新增功能

AI & Search

  • 添加倒排索引 NORMALIZER 支持
  • 实现类似 ES 的布尔查询
  • 为搜索函数引入 lucene 布尔模式

湖仓一体

  • 支持通过 AwsCredentialsProviderChain 加载 Catalog 凭证
  • 支持使用 OSSHDFS 存储的 Paimon DLF Catalog
  • 为 Iceberg 表添加 manifest 级别缓存

查询引擎

  • 支持 INTERVAL 函数并修复 EXPORT_SET
  • 支持 TIME_FORMAT 函数
  • 支持 QUANTILE_STATE_TO/FROM_BASE64 函数

优化改进

  • 引入加载作业系统表
  • 使视图、物化视图、生成列和别名函数能够持久化会话变量
  • 将表查询计划操作接收的 SQL 添加到审计日志
  • 启用流式加载记录到审计日志系统表
  • 通过列裁剪优化复杂类型列读取
  • 兼容 MySQL MOD 语法
  • 为 sql_digest 生成添加动态配置
  • 使用 Youngs-Cramer 算法实现 REGR_SLOPE/INTERCEPT 以与 PG 对齐

问题修复

  • 修复 JdbcConnector 关闭时的 JNI 全局引用泄漏
  • 修复由于 BE 统计信息上传不及时导致 CBO 无法稳定选择同步物化视图的问题
  • 用默认的 JSONB null 值替换无效的 JSONB
  • 修复由于并发删除后端导致的 OlapTableSink.createPaloNodesInfo 空指针异常
  • 修复 FROM DUAL 错误匹配以 dual 开头的表名
  • 修复 BE 宕机时预热取消失败的问题
  • 修复当物化视图被 LimitAggToTopNAgg 重写但查询未被重写时物化视图重写失败的问题
  • 修复刷新时 lastUpdateTime 未更新的问题并添加定时刷新日志
  • 修复 hll_from_base64 输入无效时的崩溃问题
  • 修复带表达式的加载列映射的敏感性问题
  • 修复删除表时未删除约束相关信息的问题
  • 修复 parquet topn 延迟物化复杂数据错误结果
  • 始终创建数据和索引页缓存以避免空指针
  • 修改 tablet cooldownConfLock 以减少内存占用
  • 修复读取 parquet footer 时缺失 profile 的问题
  • 修复 Exception::to_string 中潜在的释放后使用问题
  • 修复浮点字段 to_string 问题
  • 修复读取 hudi parquet 导致 BE 崩溃的问题
  • 修复 Kerberos 认证配置检测
  • 修复空表下的同步失败问题
  • 修复 parquet 类型未处理 float16 的问题
  • 修复 BM25 LENGTH_TABLE 范数解码问题
  • 避免某些日期类函数的误报
目录
相关文章
|
3月前
|
SQL 存储 人工智能
AI 能力揭秘(五):Apache Doris 原生向量检索的设计及实现
随着大模型和多模态 AI 的快速发展,向量已成为文本、图像、音视频等多元数据的通用语义表示。在这种背景下,检索增强生成(RAG)技术成为连接私有知识与大模型的核心桥梁,而高效的向量检索则是其关键支柱。 与将向量检索视为独立外挂服务的方案不同,Apache Doris 4.0 选择将向量检索能力深度集成于其 MPP 分析型数据库内核。实现向量检索与 SQL 计算、实时分析和事务保障的无缝融合。 本文旨在深入剖析 Doris 向量检索的系统级设计与工程实践,展示其如何在性能、易用性与规模扩展之间取得的平衡。
548 0
AI 能力揭秘(五):Apache Doris 原生向量检索的设计及实现
|
2月前
|
机器学习/深度学习 SQL 人工智能
别再群发拜年消息了!三步微调AI,让它学会你的“独家语气”
每逢春节,通用AI祝福总显生硬空洞。本文探讨如何通过微调(LoRA),将“人情世故”转化为结构化数据(称呼/关系/细节/风格等),让AI真正学会你的语气与记忆,生成有温度、带梗、专属的个性化祝福——技术不是替代表达,而是帮你把来不及说的情意,说得恰到好处。(239字)
356 16
别再群发拜年消息了!三步微调AI,让它学会你的“独家语气”
|
4月前
|
SQL 人工智能 Apache
字节跳动:Apache Doris + AI 一站式融合数据引擎的探索与实践
随着人工智能技术在业务中的渗透,我们逐渐意识到:AI 不仅是提升效率的工具,更是重构数据处理与消费方式的核心驱动力。在这一背景下,我们思考:**能否构建一款「AI + Data」一站式融合的数据引擎?** 它不仅能够统一处理文本、音视频等非结构化数据与传统结构化数据,还能为算法工程师提供流畅的数据开发体验,实现数据处理与 AI 模型无缝衔接,并能确保数据处理负载与在线服务负载完全隔离。这是 2024 年末启动 DataMind 项目的初衷。
358 0
字节跳动:Apache Doris + AI 一站式融合数据引擎的探索与实践
|
3月前
|
存储 人工智能 固态存储
构建 AI 数据基座:思必驰基于 Apache Doris 的海量多模态数据集管理实践
面对海量多模态数据管理困境,思必驰通过构建以 Apache Doris 为核心的数据集平台,实现了数据从“散、乱、滞”到“统、明、畅”的转变。在关键场景中,存储占用下降 80%、查询 QPS 提升至 3w,不仅实现可量化的效率提升和成本优化,更系统化地提升了 AI 研发效率与模型质量。
254 0
构建 AI 数据基座:思必驰基于 Apache Doris 的海量多模态数据集管理实践
|
5月前
|
存储 druid BI
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
基于 Apache Doris 替换了早期架构中 Kylin、Druid、Clickhouse、Elasticsearch、HBase 等引擎,统一了实时分析架构,并广泛应用于广告系统、日志平台和会员报表分析等典型场景,导入性能提升 3~30 倍,机器成本整体降低 55%、部分场景下高达 85%,每年节省数百万成本,综合效能提升 3~7 倍等显著收益,本文将详尽介绍基于 Doris 架构升级及在这些场景中的应用实践。
562 0
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
|
3月前
|
存储 人工智能 Cloud Native
上市大模型企业数据基础设施的选择:MiniMax 基于阿里云 SelectDB 版,打造全球统一AI可观测中台
MiniMax 作为上市大模型企业,基于阿里云 SelectDB 打造 AI 可观测中台,实现“一个平台,全球覆盖”。这一成功实践足以表明:SelectDB 能够很好满足 AI 时代海量数据实时处理与分析的需求,为同样需求的 AI 大模型企业提供了一个高性能、低成本的可靠技术解决方案。
350 5
上市大模型企业数据基础设施的选择:MiniMax 基于阿里云 SelectDB 版,打造全球统一AI可观测中台
|
5月前
|
存储 消息中间件 关系型数据库
Apache Doris 数据导入原理与性能优化 | Deep Dive
Apache Doris 数据导入机制基于分布式架构,通过 FE 与 BE 协同实现高效、可靠的数据写入。本文深入解析其核心流程、事务管理与性能瓶颈,涵盖 Stream Load、Broker Load 等多种导入方式,重点剖析 MemTable 前移、存算分离优化等关键技术,并提供表结构设计、攒批策略、分桶配置等实战优化方案,帮助用户在延迟与吞吐间取得平衡,显著提升数据导入效率。
907 4
Apache Doris 数据导入原理与性能优化 | Deep Dive
|
2月前
|
存储 SQL 缓存
快手:从分散存储到统一分析,Apache Doris 在万亿规模广告场景的应用
面对日增 3 亿行、万亿规模存量广告数据,快手广告数据平台如何突破性能瓶颈、实现架构统一与体验跃升? 快手引入 Apache Doris 替换 ClickHouse、Elasticsearch,从分散存储到统一分析,实现查询性能提升 20~90%,单表写入吞吐 300 万行/秒,存储效率提升 60%!
422 1
快手:从分散存储到统一分析,Apache Doris 在万亿规模广告场景的应用
|
3月前
|
SQL 存储 运维
从 Greenplum 到 Doris:集群缩减 2/3、年省数百万,度小满构建超大规模数据分析平台经验
面对日益增长的业务体量与复杂多变的分析需求,选用一个高效、可靠的数据库系统,已成为支撑业务稳健发展与快速创新的关键。Apache Doris 以其出色的性能表现与高度灵活的架构,成为众多场景下的优选方案,详情阅读原文。
214 1
从 Greenplum 到 Doris:集群缩减 2/3、年省数百万,度小满构建超大规模数据分析平台经验