OceanBase 3.2 版本产品功能升级:
1.硬核 HTAP 能力,OLTP 和 OLAP 性能大幅提升
在 3.2 版本,OceanBase 数据库通过执行计划索引剪枝、缓冲区刷新算法、去除重复表达式、Table Scan 算子,多种算子的执行效率与内存消耗优化,极大提升了 HTAP 负载能力。相比于3.1版本,3.2版本在 OLTP 和 OLAP 性能上具有大幅度提升,可以更轻松的应对海量数据和高并发的 OLTP 业务挑战以及实时分析的 OLAP 业务与挑战,在 TPC-H 性能测试上提升655%,极大的提升了 OLAP 能力。
a.支持小规格部署,性能提升30%
持续优化系统内部模块级内存使用限制,突破小规格限制,并支持在8C64GB 小规格机器部署并稳定运行。性能层面,相比3.1版本整体提升30%。针对内存写入平滑性、系统并发执行、系统可用会话池、收发包内存等内存使用方面进行性能增强优化。进一步降低数据库对内存资源消耗。针对栈内存、Diagnose 内存、SQL 线程缓存、Close STMT 队列等模块内存方面进行重要技术升级,大幅提升数据库对内存资源的利用率。
b.突破分布式数据库事务限制,支持超大事务
分布式数据库系统内存 Memstore 中写入的数据量超过一定限制时将 Memstore “冻结”并将数据 dump 到磁盘上,但冻结和转储过程 Memstore 中要求没有未提交的事务,因此会导致活跃事务频繁搬迁以及租户内存爆的风险。OceanBase 通过转储未提交事务技术(租户级别的调度与冻结超出内存限制的活跃未提交事务)以及 Paxos 即时写日志技术(对冻结事务生成 clog 进行Paxos 同步),实现了分布式数据库对超大事务支持能力,更好地有效解决转储对事务状态的依赖。
c.内核能力优化提升性能
强化内核能力,通过 Marker 去除重复的表达式,替代原有的 HashSet 以获得更好的性能;新增支持手工收集优化器统计信息,提升手工调优能力;新增索引自动加密,提升数据存储的安全性。