Apache Doirs 2.1.1 版本正式发布

简介: Apache Doirs 2.1.1 版本正式发布

2023 年 3 月,在阿里云瑶池数据库峰会上,阿里云与飞轮科技正式达成战略合作协议,双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。
SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 SelectDB 版也延续了 Apache Doris 性能优异、架构精简、稳定可靠、生态丰富等核心特性,同时还融入了云服务随需而用的特性,通过云原生存算分离的创新架构,为企业带来分钟级弹性伸缩、高性价比、简单易用、安全稳定的一键式云上实时分析体验。
为了更深度的了解阿里云数据库 SelectDB 版,我们可以全面多角度的了解 Apache Doris 的应用实践和经验。

亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

1 行为变更

  1. 改变了 Float 类型字段返回值序列化的方式,可以提升大数据量下 Float 返回的性能。
  1. 将部分 Table Valued Function 变更为系统表 active_queries(), workload_groups()
  1. 由于 show query``/l``oad profile stmt 语句在实际用户场景中使用较少,该语句将不再支持与维护。同时该功能在 Pipeline 与 PipelineX 引擎中不支持。
  1. 升级 Arrow Flight 版本至 15.0.2,同时用户需要使用 ADBC 15.0.2 版本访问 Doris。

2 升级问题

  1. 修复了从 2.0.x 滚动升级至 2.1.x 的过程中,部分 BE 节点升级出现 Core 的问题。
  1. 修复了在 2.0.x 滚动升级至 2.1.x 过程中,使用 JDBC Catalog 会出现 Query 报错的问题。

3 新功能

  1. 默认开启列级权限。
  1. Pipeline 和 PipelineX 引擎能够在 K8S 下准确获取 CPU 核数。
  1. 支持读取 Parquet INT96 类型
  1. 支持 IP 透传的协议,以方便在 FE 之前启用代理的同时还能获取客户端准确的 IP 地址,实现白名单权限控制。
  1. 增加对 Workload Queue 检测指标。
  1. 增加系统表 backend_active_tasks,以实时监测每个 BE 上活跃任务以及消耗的资源信息。
  1. 在 Spark Doris Connector 中增加 IPV4 和 IPV6 的支持。
  1. CCR 支持倒排索引。
  1. 支持查询 Experimental 的 Session Variable。
  1. 支持建立 bitmap_union(bitmap_from_array()) 函数的物化视图。
  1. 支持对 Hive 中 HIVE_DEFAULT_PARTITION 分区进行列裁剪。
  1. 支持 set variable 语句中使用函数。
  1. Arrow 序列化方式增加对 Variant 类型的支持。

4 改进与优化

  1. 当系统自动重启或者滚动升级之后,自动启动 Routine Load 导入任务。
  1. 优化了 Routine Load 任务在各个 BE 上的分布方式,让各个 BE 负载更加均衡。
  1. 升级 Spark 的版本,解决部分 Spark Load 的安全问题。
  1. 在冷热分离过程中,自动跳过被删除的 Tablet.
  1. Workload Group 支持对 Routine Load 的资源进行限制。
  1. 大幅度优化多表物化视图查询改写性能。
  1. 优化 Broker Load 任务对 FE 的内存使用
  1. 优化 Partition 的裁剪逻辑。
  1. 优化 Tablet Schema Cache 对 BE 内存使用。
  1. 多表物化视图增加更多对 JOIN 类型的支持,包括 INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOIN

5 Bugs 修复

  1. 修复 TopN 下推导致的问题。
  1. 修复 JAVA UDF 带来的内存泄露问题。
  1. 修复 ODBC 表备份恢复问题。
  1. 修复对 Variant 类型进行运算时常量折叠会导致 BE 出错的问题
  1. 修复了部分导入任务失败时 Routine Load 卡住的问题。
  1. 修复 SEMI JOIN 结果不正确的问题。
  1. 当列的数据为空时,修复建立倒排索引会出错的问题。
  1. 修复<=> join 操作会出现 Core 的问题。
  1. 修复部分列更新在有 Sequence 列结果准确性的问题。
  1. 修复 Select Outfile 导出到 Parquet 或者 ORC 格式的列类型映射问题。
  1. 修复在 Restore 过程中 BE 有时候会 Core 的问题。
  1. 修复 array_agg函数结果不对的问题。
  1. 使 Variant 类型应当一直是 nullable.
  1. 修复 Schema Change 没有正确处理空 Block 的问题。
  1. 修复使用 json_length() 函数时部分场景会出错的问题。
  1. 修复 Iceberg 表没有正确处理 Date Cast 转换的问题。
  1. 修复 Variant 类型建立 Index 时出现的部分 Bug。
  1. 修复当多个 map_agg 函数同时使用时结果不正确的问题。
  1. 修复 money_format 函数的返回结果不正确的问题。
  1. 修复在高并发的建立链接时部分请求会卡住的问题。
相关文章
|
5天前
|
缓存 安全 Java
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
|
5天前
|
运维 Linux Apache
LAMP架构调优(一)——隐藏Apache版本信息
LAMP架构调优(一)——隐藏Apache版本信息
22 1
|
5天前
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
|
8月前
|
JavaScript Dubbo 应用服务中间件
Apache Dubbo 首个 Node.js 3.0-alpha 版本正式发布
本文分享了 Dubbo3 Node.js 首个正式版本,演示基于 Triple 协议的 RPC 通信模式,包括代码生成、服务发布和服务访问等过程。
|
8月前
|
SQL 弹性计算 监控
Apache Doris 2.0.1 & 1.2.7 版本正式发布!
Apache Doris 2.0.1 & 1.2.7 版本正式发布,欢迎大家下载体验!
|
5天前
|
Kubernetes 关系型数据库 Apache
Apache Doris 2.1.2 版本正式发布!
Apache Doris 2.1.2 版本正式发布!该版本提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验!
|
5天前
|
SQL 分布式计算 Apache
Apache Hudi 0.12.0版本重磅发布!
Apache Hudi 0.12.0版本重磅发布!
65 2
|
5天前
|
分布式计算 Apache Spark
Apache Hudi 0.13.0版本重磅发布!
Apache Hudi 0.13.0版本重磅发布!
81 2
|
5天前
|
存储 SQL Apache
Apache Hudi 1.x 版本重磅功能展望与讨论
Apache Hudi 1.x 版本重磅功能展望与讨论
51 4
|
7月前
|
存储 SQL 算法
一文教你玩转 Apache Doris 分区分桶新功能|新版本揭秘
一文教你玩转 Apache Doris 分区分桶新功能|新版本揭秘
125 0

热门文章

最新文章

推荐镜像

更多