Apache Doris 2.1.7 版本正式发布

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 亲爱的社区小伙伴们,**Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。**2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。

亲爱的社区小伙伴们,Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。

行为变更

  • 以下全局变量会被强制设置到下列默认值
    • enable_nereids_dml: true
    • enable_nereids_dml_with_pipeline: true
    • enable_nereids_planner: true
    • enable_fallback_to_original_planner: true
    • enable_pipeline_x_engine: true
  • 审计日志增加了新的列 #42262

新功能

异步物化视图

  • 异步物化视图增加了一个属性 use_for_rewrite 用于控制是否参与透明改写 #40332

查询执行引擎

  • 在 Profile 中输出变更的session variable 列表。#41016
  • 增加了trim_inltrim_inrtrim_in 函数的支持。#42641
  • 增加了一些 URL 函数,包括对 to``p_level_domainfirst_significant_subdomaincut_to_first_significant_subdomain 支持。#42916
  • 增加了 bit_set 函数。#42099
  • 增加了count_substrings 函数。#42055
  • 增加 translateurl_encode 函数。#41051
  • 增加 normal_cdf, to_iso8601, from_iso8601_date 函数。 #40695
  • 增加 trim_inltrim_inrtrim_in 函数。#42641

存储管理

  • 增加了 information_schema.table_optionsinformation_schema.``table_properties 系统表,支持查询建表时设置的一些属性。#34384
  • 支持 bitmap_empty 作为默认值。#40364
  • 增加了一个新的 Session 变量require_sequence_in_insert 来控制向 Unique Key 表进行insert into select 写入时,是否必须提供 Sequence 列。#41655

其他

允许在 BE WebUI 页面生成火焰图。#41044

改进提升

湖仓一体

异步物化视图

  • 细化了异步物化视图中构建时锁持有的粒度。#40402 #41010

查询优化器

  • 优化了极端情况下统计信息收集和使用的准确性,以提升规划稳定性。#40457
  • 现在可以在更多情况下生成 Runtime Filter,以提升查询性能。 #40815
  • 提升数值,日期和字符串函数的常量折叠能力,以提升查询性能。#40820
  • 优化了列裁剪的算法,以提升查询性能。#41548

查询执行引擎

  • 支持并行的 Prepare 降低短查询的耗时。#40270
  • 修正了 Profile 中一些 Counter的名字,保持跟审计日志一致。#41993
  • 增加了新的 Local Shuffle 规则,使得部分查询更快。#40637

存储管理

  • Show Partitions 命令支持显示 Commit Version。 #28274
  • 建表时检查不合理的 Partition EXPR。#40158
  • 优化 Routine Load EOF 时的调度逻辑。#40509
  • Routine Load感知 Schema 变化。#40508
  • 优化 Routine Load Task 超时逻辑。#41135

其他

  • 支持通过 BE 配置关闭 BRPC 的内置服务端口。#41047
  • 修复审计日志缺失字段以及重复记录的问题。#41047

Bug 修复

湖仓一体

  • 修复了 INSERT OVERWRITE 的行为跟 Hive 不一致的问题。#39840
  • 清理临时创建的文件夹,解决 HDFS 上空文件夹太多的问题。#40424
  • 修复某些情况下,使用 JDBC Catalog 导致 FE 内存泄露的问题。#40923
  • 修复某些情况下,使用 JDBC Catalog 导致 BE 内存泄露的问题。#41266
  • 修复某些情况下,读取 Snappy 压缩格式错误的问题。#40862
  • 修复某些情况下,FE 端 FileSystem 可能泄露的问题。#41108
  • 修复某些情况下,通过 EXPLAIN VERBOSE 查看外表执行计划可能导致空指针的问题。#41231
  • 修复无法读取 Paimon parquet 格式表的问题。#41487
  • 修复 JDBC Oracle Catalog 兼容性改动引入的性能问题。#41407
  • 禁止下推隐式转换后的谓词条件已解决 JDBC Catalog 某些情况下查询结果不正确的问题。#42242
  • 修复 External Catalog 中表名大小写访问异常的一些问题。#42261

异步物化视图

  • 修复用户指定的 Start Time 不生效的问题。#39573
  • 修复嵌套物化视图不刷新的问题。#40433
  • 修复删除重建基表后,物化视图可能不刷新的问题。#41762
  • 修复分区补偿改写可能导致结果错误的问题。#40803
  • sql_select_limit 设置时,改写结果可能错误的问题。#40106

半结构化管理

  • 修复了索引文件句柄泄露的问题。#41915
  • 修复了特殊情况下倒排索引 count() 不准确的问题。#41127
  • 修复了未开启 Light Schema Change 时 Variant 异常的问题。#40908
  • 修复了 Variant 返回数组时内存泄漏的问题。#41339

查询优化器

  • 修正了外表查询时,可能存在过滤条件 nullable 计算错误,导致执行异常的问题。#41014
  • 修复范围比较表达式优化可能发生错误的问题。#41356

查询执行引擎

  • match_regexp 函数不能正确处理空字符串的问题。#39503
  • 解决在高并发场景下,Scanner 线程池卡死的问题。#40495
  • 修复了 data_floor 函数结果错误的问题。#41948
  • 修复了部分场景下,Cancel 消息不正确的问题。#41798
  • 修复 Arrow Flight 打印太多的 Warn 日志的问题。#41770
  • 解决部分场景下 Runtime Filter 发送失败的问题。#41698
  • 修复了一些系统表查询的时候不能正常结束或者卡住的问题。#41592
  • 修复了窗口函数结果不正确的问题。#40761
  • 修复 ENCRYPT 和 DECRYPT 函数导致 BE Core 的问题。#40726
  • 修复 CONV 函数结果错误的问题。#40530

存储管理

  • Memtable 前移在多副本情况下,有机器宕机时导入失败的问题。#38003
  • 导入过程中,Memtable 在 Flush 阶段时,统计的内存不准确。#39536
  • 修复 Memtable前移多副本容错的问题。#40477
  • 修复 Memtable前移 bvar 统计不准的问题。#40985
  • 修复 s3 Load 进度汇报不准的问题。#40987

权限管理

  • 修复了SHOW COLUMNS, SHOW SYNC, SHOW DATA FROM DB.TABLE 相关的权限问题。 #39726

Others

  • 修复 2.0 版本的审计日志插件在 2.1 版本无法使用的问题[#41400](
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4天前
|
存储 缓存 Cloud Native
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
随着云基础设施的成熟,Apache Doris 3.0 正式支持了存算分离全新模式。基于这一架构,能够实现更低成本、极致弹性以及负载隔离。本文将介绍存算分离架构及其优势,并通过导入性能、查询性能、资源成本的测试,直观展现存算分离架构下的性能表现,为读者提供具体场景下的使用参考。
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
|
17天前
|
SQL 缓存 数据处理
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
Apache Doris 提出“数据无界”和“湖仓无界”理念,提供高效的数据管理方案。本文聚焦三个典型应用场景:湖仓分析加速、多源联邦分析、湖仓数据处理,深入介绍 Apache Doris 的最佳实践,帮助企业快速响应业务需求,提升数据处理和分析效率
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
|
19天前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
24天前
|
存储 运维 监控
从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地
日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案,替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度,规模达到 50 台服务器, 倒排索引将全文检索性能提升7倍,2PB 数据,每天新增日志量超过万亿条,峰值写入吞吐 6GB/s 。
从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地
|
2月前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
7天前
|
SQL 分布式计算 Apache
Apache Doris 3.0.4 版本正式发布
该版本持续在存算分离、湖仓一体、异步物化视图等方面进行改进提升与问题修复
|
2月前
|
SQL 存储 分布式计算
Apache Doris 2.1.8 版本正式发布
该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。
|
3月前
|
存储 SQL Apache
Apache Doris 创始人:何为“现代化”的数据仓库?
3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展蓝图
Apache Doris 创始人:何为“现代化”的数据仓库?
|
2月前
|
存储 SQL 监控
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台

热门文章

最新文章

推荐镜像

更多