【Meetup回顾 第1期】竟是这样的国产数据库,YashanDB技术内幕曝光

简介: YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。

  4月1日,由深圳计算科学研究院崖山数据库系统YashanDB团队策划的第1期技术 Meetup【崖山论“见”】于线下顺利举办。YashanDB研发总监欧伟杰博士带来了《开门见山|崖山数据库系统有啥不一样》的精彩分享,以下为活动回顾。

  YashanDB:面向混合负载的创新架构

  YashanDB是一款基于统一内核,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景的新型数据库系统;YashanDB同时提供开发平台、运维平台和迁移平台3大工具平台以满足数据全生命周期管理。

  “YashanDB架构设计并不存在万能的‘银弹’,而是取长补短的权衡。”欧伟杰表示。为了真正满足业务混合负载的诉求,在数据组织上,YashanDB基于统一事务引擎,既有支持高并发事务处理的行存储,也有支持数据实时与海量数据交互分析的列存储;在计算能力上,YashanDB结合经典火山模型和原生向量化执行引擎,既能高效地逐行处理支持点操作,也能利用批量处理模式为复杂查询和海量数据查询找到最优解;另基于一套优化器机制可实现SMP算子内并行以及MPP分布式并行,突破了单线程和单节点的计算瓶颈。


1.jpg

  多种技术方案满足多元场景应用

  无论是核心场景,还是面向互联网业务的增量创新场景,都会对数据库产品提出不同维度的诉求。YashanDB通过多种不同的创新技术方案,赋能多元场景应用。


2.jpg

  ● 场景一:新型实时应用。大多数的中小型企业业务本身数据量不大,通常在10TB以内,一般他们会采用门槛更低、成本更低的单机部署方式。不过业务变化更新快,快速变化的数据需实时分析, YashanDB采用可更新列存的方案既可支持低时延的TP应用,也可以实现AP查询;该方案的技术难点在于资源的隔离与调度,即在做复杂查询时是否有足够资源进行事务操作,YashanDB则通过会话优先级策略实现了良好的资源隔离效果。

3.jpg

  ● 场景二:在线交易和周期性复杂查询。相较于场景一,该场景的负载会更高,除了支撑高负载的TP场景,也会有定期的周结、月结等分析诉求。该场景推荐使用YashanDB的行存配合查询加速方案,通过行存存储,并配合使用列式索引、物化模型、独特的有界查询约束等技术实现查询性能的提升。

4.jpg

  ● 场景三:在线交易和实时分析。当业务进一步扩大,数据量变大,通常采用分布式架构来承载,业务需要将生产系统中的数据进行实时分析处理, YashanDB通过透明路由,采用独立节点作为行存的列副本,实现面向行存储的高通量交易能力以及面向列式向量化计算的分析能力,并保证两者之间的资源是隔离、不受影响的。

5.jpg

  ● 场景四:操作性数据和实时历史归档分析。此时,业务分析的数据不局限于当前的热数据,还包含大量的历史归档数据。YashanDB在该场景下将组合上述提及的三种数据组织方式,高通量交易场景采用行存储,分析场景提供可变更的列式存储和稳态海量数据存储,并支持冷热数据策略的灵活定制。该方案通过一套简单的数据库系统即可有效地解决过去多套系统开发运维成本大、数据口径不一致等问题。


6.jpg

  未来技术规划

  当前YashanDB已具备基本能力,面向未来新概念、新场景的需求,YashanDB将持续在数据模型、查询优化和计算资源调度等多个方向发力,如通过统一融合查询满足多种数据模型的诉求,借力ML能力优化查询,面向混合负载探索语句级细粒度调度实现计算资源按需分配等,在自研内核基础上不断完善企业级能力,充分释放数据价值。

  以上就是此次Meetup的主要内容,如果您还有其他感兴趣的技术话题,欢迎点击左下方“阅读原文”留言,让我们一起期待下一期的Meetup。

目录
相关文章
|
5月前
|
运维 监控 数据可视化
一文拆解 YashanDB Cloud Manager,数据库运维原来还能这么“智能”!
传统数据库运维依赖人工,耗时耗力还易出错。YashanDB Cloud Manager(YCM)作为“智能运维管家”,实现主动、智能、可视化的运维体验。它提供实时资源监控、智能告警系统、自动巡检机制、高可用架构支持和强大的权限管理功能,帮助用户统一管理多实例与集群,减少人工干预,构建现代化数据库运维体系,让企业高效又安心地运行数据库服务。
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
|
5月前
|
存储 关系型数据库 分布式数据库
|
4月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展
阿里云瑶池数据库与沃趣科技将继续深化合作,共同推动国产数据库技术的持续创新与广泛应用,为行业生态的繁荣注入更强劲的技术动力。
阿里云PolarDB与沃趣科技携手打造一体化数据库解决方案,助推国产数据库生态发展
|
3月前
|
存储 人工智能 关系型数据库
诚邀您参加《智启云存:AI时代数据库RDS存储新突破》线上闭门技术沙龙!
诚邀您参加6月11日(周三)14:00在线上举行的《智启云存:AI时代数据库RDS存储新突破》闭门活动。免费报名并有机会获得精美礼品,快来报名吧:https://hd.aliyun.com/form/6162
|
4月前
|
人工智能 关系型数据库 分布式数据库
媒体声音|从亚太到欧美,阿里云瑶池数据库凭何成为中企出海的技术底气?
在中企出海的时代浪潮中,瑶池数据库正凭借其技术创新、场景化解决方案、智能化能力、全球化布局,成为企业跨越挑战、构建全球竞争力的关键伙伴;同时也以硬核的技术实力证明了中国数据库的国际竞争力。
|
4月前
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup,5月24日深圳见!
5月24日,NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域,邀请行业专家分享技术趋势、产品实践及解决方案,助力企业构建高效安全的数据管理体系。时间:14:00-17:30;地点:深圳新一代产业园2栋20楼会议室。线下名额有限(80人),速报名参与深度交流!
89 1
|
5月前
|
监控 数据库
【YashanDB 知识库】ycm 托管数据库时报错 OM host ip:127.0.0.1 is not support join to YCM
在托管数据库时,若 OM 的 IP 被设置为 127.0.0.1,将导致无法托管至 YCM,并使数据库失去监控。此问题源于安装时修改了 OM 的监听 IP。解决方法包括:将 OM 的 IP 修改为本机实际 IP 或 0.0.0.0,同时更新 env 文件及 yasom 后台数据库中的相关配置。经验总结指出,应避免非必要的后台 IP 修改,且数据库安装需遵循规范,不使用仅限本机访问的 IP(如 127.0.0.1)。
|
5月前
|
存储 安全 数据库
风险防不胜防?看 YashanDB 如何守护你的数据库安全(上篇)
数据库作为信息系统核心,其安全性至关重要。本文聚焦数据库安全机制中的访问管理,涵盖身份认证、访问控制与反入侵措施。YashanDB通过口令认证、操作系统认证及双因素认证确保用户身份安全;实施基于角色(RBAC)和标签(LBAC)的访问控制,实现权限精细化管理;同时利用黑白名单与连接监听机制防范未授权访问和恶意攻击。这些措施共同保障数据的机密性、完整性和可用性,助力企业满足国家合规要求。下期将探讨威胁检测与数据保护内容,敬请期待!
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:弹性并行查询(ePQ)篇
阿里云PolarDB云原生数据库在TPC-C基准测试中刷新了性能和性价比的世界纪录,达到每分钟20.55亿笔交易(tpmC),单位成本仅0.8元人民币。PolarDB采用云原生架构,支持数千节点横向扩展,具备弹性并行查询(ePQ)功能,可显著加速复杂查询。此外,PolarDB还推出了国产轻量版,以软件形式部署,满足多样化需求。

热门文章

最新文章