【Meetup回顾 第1期】竟是这样的国产数据库,YashanDB技术内幕曝光

简介: YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。

  4月1日,由深圳计算科学研究院崖山数据库系统YashanDB团队策划的第1期技术 Meetup【崖山论“见”】于线下顺利举办。YashanDB研发总监欧伟杰博士带来了《开门见山|崖山数据库系统有啥不一样》的精彩分享,以下为活动回顾。

  YashanDB:面向混合负载的创新架构

  YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。

  “YashanDB架构设计并不存在万能的‘银弹’,而是取长补短的权衡。”欧伟杰表示。为了真正满足业务混合负载的诉求,在数据组织上,YashanDB基于统一事务引擎,既有支持高并发事务处理的行存储,也有支持数据实时与海量数据交互分析的列存储;在计算能力上,YashanDB结合经典火山模型和原生向量化执行引擎,既能高效地逐行处理支持点操作,也能利用批量处理模式为复杂查询和海量数据查询找到最优解;另基于一套优化器机制可实现SMP算子内并行以及MPP分布式并行,突破了单线程和单节点的计算瓶颈。


1.jpg

  多种技术方案满足多元场景应用

  无论是核心场景,还是面向互联网业务的增量创新场景,都会对数据库产品提出不同维度的诉求。YashanDB通过多种不同的创新技术方案,赋能多元场景应用。


2.jpg

  ● 场景一:新型实时应用。大多数的中小型企业业务本身数据量不大,通常在10TB以内,一般他们会采用门槛更低、成本更低的单机部署方式。不过业务变化更新快,快速变化的数据需实时分析, YashanDB采用可更新列存的方案既可支持低时延的TP应用,也可以实现AP查询;该方案的技术难点在于资源的隔离与调度,即在做复杂查询时是否有足够资源进行事务操作,YashanDB则通过会话优先级策略实现了良好的资源隔离效果。

3.jpg

  ● 场景二:在线交易和周期性复杂查询。相较于场景一,该场景的负载会更高,除了支撑高负载的TP场景,也会有定期的周结、月结等分析诉求。该场景推荐使用YashanDB的行存配合查询加速方案,通过行存存储,并配合使用列式索引、物化模型、独特的有界查询约束等技术实现查询性能的提升。

4.jpg

  ● 场景三:在线交易和实时分析。当业务进一步扩大,数据量变大,通常采用分布式架构来承载,业务需要将生产系统中的数据进行实时分析处理, YashanDB通过透明路由,采用独立节点作为行存的列副本,实现面向行存储的高通量交易能力以及面向列式向量化计算的分析能力,并保证两者之间的资源是隔离、不受影响的。

5.jpg

  ● 场景四:操作性数据和实时历史归档分析。此时,业务分析的数据不局限于当前的热数据,还包含大量的历史归档数据。YashanDB在该场景下将组合上述提及的三种数据组织方式,高通量交易场景采用行存储,分析场景提供可变更的列式存储和稳态海量数据存储,并支持冷热数据策略的灵活定制。该方案通过一套简单的数据库系统即可有效地解决过去多套系统开发运维成本大、数据口径不一致等问题。


6.jpg

  未来技术规划

  当前YashanDB已具备基本能力,面向未来新概念、新场景的需求,YashanDB将持续在数据模型、查询优化和计算资源调度等多个方向发力,如通过统一融合查询满足多种数据模型的诉求,借力ML能力优化查询,面向混合负载探索语句级细粒度调度实现计算资源按需分配等,在自研内核基础上不断完善企业级能力,充分释放数据价值。

  以上就是此次Meetup的主要内容,如果您还有其他感兴趣的技术话题,欢迎点击左下方“阅读原文”留言,让我们一起期待下一期的Meetup。

目录
相关文章
|
20天前
|
关系型数据库 分布式数据库 数据库
1月17日|阿里云云谷园区,PolarDB V2.0技术沙龙,畅聊国产数据库
为了助力国产化项目顺利推进,阿里云邀请企业开发者和数据库负责人到云谷园区,与PolarDB V2.0技术专家面对面交流。扫描海报二维码报名,我们将根据信息为您申请入园。欢迎参与,共同探讨PolarDB的最新技术和应用!
|
30天前
|
人工智能 物联网 大数据
解密时序数据库的未来:TDengine Open Day技术沙龙精彩回顾
在数字化时代,开源已成为推动技术创新和知识共享的核心力量,尤其在数据领域,开源技术的涌现不仅促进了行业的快速发展,也让更多的开发者和技术爱好者得以参与其中。随着物联网、工业互联网等技术的广泛应用,时序数据库的需求愈发强烈,开源的兴起更是为这一技术的创新与普及提供了强有力的支持。
30 3
|
1月前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
78 15
|
2月前
|
负载均衡 网络协议 数据库
选择适合自己的数据库多实例负载均衡技术
【10月更文挑战第23天】选择适合自己的数据库多实例负载均衡技术需要全面考虑多种因素。通过深入的分析和评估,结合自身的实际情况,能够做出明智的决策,为数据库系统的高效运行提供有力保障。
139 61
|
2月前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
240 4
国产数据实战之docker部署MyWebSQL数据库管理工具
|
2月前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
75 3
|
2月前
|
缓存 负载均衡 监控
数据库多实例的负载均衡技术深入
【10月更文挑战第23天】数据库多实例负载均衡技术是确保数据库系统高效运行的重要手段。通过合理选择负载均衡策略、实时监控实例状态、不断优化调整,能够实现资源的最优分配和系统性能的提升。在实际应用中,需要根据具体情况灵活运用各种负载均衡技术,并结合其他相关技术,以满足不断变化的业务需求。
|
2月前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
68 1
|
6天前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
11天前
|
缓存 关系型数据库 MySQL
【深入了解MySQL】优化查询性能与数据库设计的深度总结
本文详细介绍了MySQL查询优化和数据库设计技巧,涵盖基础优化、高级技巧及性能监控。
109 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等