Apache Doris 2.0.2 版本正式发布!

简介: 亲爱的社区小伙伴们,Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复,进一步提升了系统的稳定性和性能,欢迎大家下载体验。

WechatIMG102.jpg

峰会官网已上线,最新议程请关注doris-summit.org.cn

亲爱的社区小伙伴们,Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。有 92 位贡献者为 Apache Doris 2.0.2 版本提交了功能优化项以及问题修复,进一步提升了系统的稳定性和性能,欢迎大家下载体验:

GitHub下载
https://github.com/apache/doris/releases/tag/2.0.2-rc05
官网下载页
https://doris.apache.org/download/

重要更新

  • 删除与 lambda 函数语法冲突的 json“->”运算符,可以使用函数 json_extract 代替。#24679

  • metadata_failure_recovery 从 fe.conf 移动到 start_fe.sh 参数,以避免异常操作。#24308

  • 对于普通类型中的 null 值使用 \n 来表示,对于复杂类型或嵌套类型的 null 值,跟 JSON 类型保持一致、采取 null 来表示。#24207

  • 优化 BE 节点 priority_network 配置项的绑定策略,如果用户配置了错误的 priority_network 则直接启动失败,以避免用户错误地认为配置是正确的。如果用户没有配置 priority_network,则仅从 IPv4 列表中选择第一个 IP,而不是从所有 IP 中选择,以避免用户的服务器不支持 IPv4。 #23795 #23784

  • 支持取消正在重试的导入任务,修复取消加载失败的问题。#17730

功能优化

01 易用性提升

  • 某些场景下,用户需要向集群中添加一些自定义的库,如 lzo.jar、orai18n.jar 等。在过去的版本中,这些 lib 文件位于 fe/lib 或 be/lib 中,但在升级集群时,lib 库将被新的 lib 库替换,导致所有自定义的 lib 库都会丢失。在新版本中,为 FE 和 BE 添加了新的自定义目录 custom_lib,用户可以在其中放置自定义 lib 文件。#23887

  • 支持基于用户角色的权限访问控制,实现了行级细粒度的权限控制策略。#23022

02 改进查询优化器 Nereids 统计信息收集

  • 在运行 Analysis 任务时禁用 File Cache,Analysis 任务是后台任务,不应影响用户本地 File Cache 数据。#23663

  • 在过去版本中,查看列的统计信息时将忽略出现错误的列。在新版本中,当 min 或 max 值未能反序列化时,查看列的统计信息时将使用 N/A 作为 min 或 max 的值并仍显示其余的统计信息,包括 count、null_count、ndv 等。#23703

  • 支持 JDBC 外部表的统计信息收集。#23965

  • 跳过__internal_schemainformation_schema上未知列的统计信息检查。#24625

03 Multi-Catalog 功能优化

  • 支持 Hadoop Viewfs;#24168

  • 优化 JDBC Catalog Checksum Replay 和 Range 相关问题; #22369

  • 优化了 JDBC Catalog 的 Property 检查和错误消息提示。 #23868

  • 修复了 MaxCompute Catalog Decimal 类型解析问题以及使用对象存储地址错误的问题。#24242

  • 支持 Hive Metastore Catalog 的 SQL Cache。#23391

  • 提高了 Hive Metastore Catalog 的元数据同步性能。#22869

  • 添加 metadata_name_ids 以快速获取 Catalogs、DB、Table,在创建或删除 Catalog 和 Table 时无需 Refresh Catalog, 并添加 Profiling 表从而与 MySQL 兼容。#22702

04 倒排索引性能优化

  • 增加 bkd 索引的查询缓存,通过缓存可以加速在命中 bkd 索引时的查询性能,在高并发场景中效果更为明显; #23952

  • 提升倒排索引在 Count 算子上的查询性能;#24678

  • 提升了 Match 算子在未命中索引时的效率,在测试表现中性能最高提升 60 倍;#24751

  • 提升了 MATCH 和 MATCH_ALL 在倒排索引上的查询性能;#23871 #24389

05 Array 函数优化

  • 优化了老版本查询优化器 Array 函数无法处理 Decimal 类型的问题;#23630

  • 优化了array_union 数组函数对多个参数的支持;#24327

  • 支持通过 explode 函数来处理数组嵌套复杂类型;#24455

Bug修复

该版本修复了之前版本存在的部分 Bug,使系统整体稳定性表现得到大幅提升,完整 BugFix 列表请参考 GitHub Commits 记录:https://github.com/apache/doris/issues/25011

目录
打赏
0
0
0
0
229
分享
相关文章
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
Apache Doris 提出“数据无界”和“湖仓无界”理念,提供高效的数据管理方案。本文聚焦三个典型应用场景:湖仓分析加速、多源联邦分析、湖仓数据处理,深入介绍 Apache Doris 的最佳实践,帮助企业快速响应业务需求,提升数据处理和分析效率
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地
日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案,替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度,规模达到 50 台服务器, 倒排索引将全文检索性能提升7倍,2PB 数据,每天新增日志量超过万亿条,峰值写入吞吐 6GB/s 。
从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
Apache Doris 2.1.8 版本正式发布
该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。
Apache Doris 创始人:何为“现代化”的数据仓库?
3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展蓝图
Apache Doris 创始人:何为“现代化”的数据仓库?
别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!
别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!
152 1
别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
Apache Doris 3.0.3 版本正式发布
亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
414 33
The Past, Present and Future of Apache Flink

热门文章

最新文章

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等