【Meetup回顾 第1期】竟是这样的国产数据库,YashanDB技术内幕曝光

简介: YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。

  4月1日,由深圳计算科学研究院崖山数据库系统YashanDB团队策划的第1期技术 Meetup【崖山论“见”】于线下顺利举办。YashanDB研发总监欧伟杰博士带来了《开门见山|崖山数据库系统有啥不一样》的精彩分享,以下为活动回顾。

  YashanDB:面向混合负载的创新架构

  YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。

  “YashanDB架构设计并不存在万能的‘银弹’,而是取长补短的权衡。”欧伟杰表示。为了真正满足业务混合负载的诉求,在数据组织上,YashanDB基于统一事务引擎,既有支持高并发事务处理的行存储,也有支持数据实时与海量数据交互分析的列存储;在计算能力上,YashanDB结合经典火山模型和原生向量化执行引擎,既能高效地逐行处理支持点操作,也能利用批量处理模式为复杂查询和海量数据查询找到最优解;另基于一套优化器机制可实现SMP算子内并行以及MPP分布式并行,突破了单线程和单节点的计算瓶颈。


1.jpg

  多种技术方案满足多元场景应用

  无论是核心场景,还是面向互联网业务的增量创新场景,都会对数据库产品提出不同维度的诉求。YashanDB通过多种不同的创新技术方案,赋能多元场景应用。


2.jpg

  ● 场景一:新型实时应用。大多数的中小型企业业务本身数据量不大,通常在10TB以内,一般他们会采用门槛更低、成本更低的单机部署方式。不过业务变化更新快,快速变化的数据需实时分析, YashanDB采用可更新列存的方案既可支持低时延的TP应用,也可以实现AP查询;该方案的技术难点在于资源的隔离与调度,即在做复杂查询时是否有足够资源进行事务操作,YashanDB则通过会话优先级策略实现了良好的资源隔离效果。

3.jpg

  ● 场景二:在线交易和周期性复杂查询。相较于场景一,该场景的负载会更高,除了支撑高负载的TP场景,也会有定期的周结、月结等分析诉求。该场景推荐使用YashanDB的行存配合查询加速方案,通过行存存储,并配合使用列式索引、物化模型、独特的有界查询约束等技术实现查询性能的提升。

4.jpg

  ● 场景三:在线交易和实时分析。当业务进一步扩大,数据量变大,通常采用分布式架构来承载,业务需要将生产系统中的数据进行实时分析处理, YashanDB通过透明路由,采用独立节点作为行存的列副本,实现面向行存储的高通量交易能力以及面向列式向量化计算的分析能力,并保证两者之间的资源是隔离、不受影响的。

5.jpg

  ● 场景四:操作性数据和实时历史归档分析。此时,业务分析的数据不局限于当前的热数据,还包含大量的历史归档数据。YashanDB在该场景下将组合上述提及的三种数据组织方式,高通量交易场景采用行存储,分析场景提供可变更的列式存储和稳态海量数据存储,并支持冷热数据策略的灵活定制。该方案通过一套简单的数据库系统即可有效地解决过去多套系统开发运维成本大、数据口径不一致等问题。


6.jpg

  未来技术规划

  当前YashanDB已具备基本能力,面向未来新概念、新场景的需求,YashanDB将持续在数据模型、查询优化和计算资源调度等多个方向发力,如通过统一融合查询满足多种数据模型的诉求,借力ML能力优化查询,面向混合负载探索语句级细粒度调度实现计算资源按需分配等,在自研内核基础上不断完善企业级能力,充分释放数据价值。

  以上就是此次Meetup的主要内容,如果您还有其他感兴趣的技术话题,欢迎点击左下方“阅读原文”留言,让我们一起期待下一期的Meetup。

目录
相关文章
|
4月前
|
SQL Java 数据库连接
除了JDBC,还有哪些常见的数据库访问技术?
除了JDBC,还有哪些常见的数据库访问技术?
398 2
|
10月前
|
Cloud Native 关系型数据库 分布式数据库
|
5月前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
524 8
|
5月前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
386 1
|
5月前
|
SQL 数据管理 BI
数据库操作三基石:DDL、DML、DQL 技术入门指南
本文围绕数据库操作核心语言 DDL、DML、DQL 展开入门讲解。DDL 作为 “结构建筑师”,通过CREATE(建库 / 表)、ALTER(修改表)、DROP(删除)等命令定义数据库结构;DML 作为 “数据管理员”,以INSERT(插入)、UPDATE(更新)、DELETE(删除)操作数据表记录,需搭配WHERE条件避免误操作;DQL 作为 “数据检索师”,通过SELECT结合WHERE、ORDER BY、LIMIT等子句实现数据查询与统计。三者相辅相成,是数据库操作的基础,使用时需注意 DDL 的不可撤销性、DML 的条件约束及 DQL 的效率优化,为数据库学习与实践奠定基础。
|
9月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展
阿里云瑶池数据库与沃趣科技将继续深化合作,共同推动国产数据库技术的持续创新与广泛应用,为行业生态的繁荣注入更强劲的技术动力。
阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展
|
6月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
271 0
|
8月前
|
存储 人工智能 关系型数据库
诚邀您参加《智启云存:AI时代数据库RDS存储新突破》线上闭门技术沙龙!
诚邀您参加6月11日(周三)14:00在线上举行的《智启云存:AI时代数据库RDS存储新突破》闭门活动。免费报名并有机会获得精美礼品,快来报名吧:https://hd.aliyun.com/form/6162
|
9月前
|
人工智能 关系型数据库 分布式数据库
媒体声音|从亚太到欧美,阿里云瑶池数据库凭何成为中企出海的技术底气?
在中企出海的时代浪潮中,瑶池数据库正凭借其技术创新、场景化解决方案、智能化能力、全球化布局,成为企业跨越挑战、构建全球竞争力的关键伙伴;同时也以硬核的技术实力证明了中国数据库的国际竞争力。
|
9月前
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup,5月24日深圳见!
5月24日,NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域,邀请行业专家分享技术趋势、产品实践及解决方案,助力企业构建高效安全的数据管理体系。时间:14:00-17:30;地点:深圳新一代产业园2栋20楼会议室。线下名额有限(80人),速报名参与深度交流!
260 1