共建云原生开源生态 PolarDB × Curve 杭州 Meetup
10月15日,PolarDB 和 Curve 两大开源社区于杭州联合举办线下 Meetup,活动邀请到了来自阿里云、网易数帆、乘数科技的资深技术专家,为大家带来 PolarDB-PG、PolarDB-X 及 Curve 三大开源项目的最佳实践及生态合作案例。
PolarDB-X 动手实践系列第14期:PolarDB-X 的表组与分区变更
为了追求极致的性能,在 AUTO 模式下,PolarDB-X 引入了表组的概念,可以维持表之间的关联查询稳定的下推关系,消除分布式事务。同时提供丰富的分区管理能力(例如热点处理,数据隔离等),满足业务上的不同需求。本期分享将对上述功能以及背后的设计逻辑展开介绍。
PolarDB-X 动手实践系列第12期:PolarDB-X on OSS 冷热数据分离存储
PolarDB-X的冷数据归档功能可以自动从源表中剥离出冷数据,归档至更低成本的OSS中。归档表支持高效的主键与索引点查、复杂分析型查询,满足高可用、MySQL兼容性和任意时间点闪回等特性,也可以用开源大数据产品接入OSS的归档数据。本期分享将介绍OSS冷数据归档功能,并简单介绍背后的设计思路及技术原理。
EMQX + PolarDB-X 一站式 IoT 数据解决方案
EMQX 是一款大规模可弹性伸缩的云原生分布式物联网 MQTT 消息服务器。PolarDB-X 超高并发、海量存储的特性可以应对物联网大规模设备接入所需的各类数据存储场景。其分布式特性以及存储计算分离架构带来的水平扩展、分布式事务、混合负载等能力可以与同样是分布式的 EMQX 结合使用,打造真正的可伸缩物联网应用,应对从数千到数千万的设备接入。
PolarDB-X 动手实践系列第11期:PolarDB-X 的 TTL 分区表功能介绍及原理解析
在某些业务场景下,数据库的数据会增量很快,并且数据热度随着时间推移会有明显的降低。如果数据一直存储在 PolarDB-X 中,既会占用存储空间,也会降低正常业务查询的效率。所以,需要有一个机制,能让冷数据定期地转移到其他成本更低的存储,以及让冷数据在 PolarDB-X 中自动删除,这就是TTL分区表。本次分享将详细介绍 PolarDB-X 的 TTL分区表功能及其原理解析。讲师/嘉宾简介姑胥,阿里云 PolarDB-X 云原生分布式数据库高级开发工程师。主要负责分布式数据库DDL、分区均衡等领域。
PostgreSQL 内核解读系列第二讲:PostgreSQL 体系结构
本系列课程将面向 DBA、高校学生、内核爱好者,分15章节,系统化介绍 PostgreSQL 核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和 DBA,也可以进行简单的特性开发,更深入理解PostgreSQL 配置和运行原理。本节课将讲述 PostgreSQL 的体系架构,涵盖系统表,初始化、启动、查询流程,辅助进程等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
大咖对话:企业如何用好开源数据库
本期直播与欧冶云商数据库总监重点探讨了该企业用了哪些开源数据库产品,采用开源数据库的业务有哪些特征? 为什么采用开源数据库? 企业数据库选型的通用原则,以及企业如何抓住开源红利等内容。讲师/嘉宾简介惊玄 阿里云数据库开源战役负责人,阿里云数据库资深技术专家薛晓刚 欧冶云商数据库总监,行业资深数据库研究员
PolarDB-X 动手实践系列第九期——PolarDB-X Replica原理和使用
Replication用来进行MySQL数据库之间的高效复制,是构建MySQL主备和多主架构的基础能力。PolarDB-X 2.1.0 版本新增兼容MySQL Replica相关指令,实现了MySQL和PolarDB-X之间的数据复制。本期分享将分别演示PolarDB-X作为MySQL和PolarDB-X的备库,并简单介绍背后的技术原理。讲师/嘉宾简介积月,阿里云 PolarDB-X 云原生分布式数据库高级开发工程师,毕业于南京大学计算机系。2021年加入 PolarDB-X 团队,主要负责数据迁移等生态组件研发工作。
PolarDB-X 动手实践系列第八期——用 PolarDB-X 搭建一个高可用系统
大型后台系统往往都采用分布式架构,该架构要考虑的核心问题之一是系统高可用如何设计。PolarDB-X 在4月1日发布了 2.1.0 版本,该版本引入的 X-Paxos 多副本能力使得系统的高可用能力有了质的提升。本期分享将用 PolarDB-X 搭建一个高可用系统,通过直接 kill 容器模拟节点故障,以观察 PolarDB-X 的自动恢复情况。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
开源学堂:PolarDB 管控如何保障 DB 一致性
当 DB 集群出现 HA 场景时,原本单写的 DB 有可能出现双写的情况,管控如何来避免这种场景导致的一致性问题?本期开源学堂讲详细介绍管控在设计过程中如何考虑并且避免 DB 自身无法解决的一致性问题。讲师/嘉宾简介蟾兔,阿里云 PolarDB for PostgreSQL 云原生管控, PolarDB Stack 开源负责人之一,曾参与线下版 PolarDB Stack Operator、存储管理等模块开发工作,是 PolarDB Stack 开源版代码的主要贡献人,目前主要工作为 PolarDB 公共云管控研发。
开源大咖说-为什么PolarDB选择计算存储分离架构
议题为什么选择计算存储分离的架构内容简介主流的数据库架构有哪些? 市场占比分别有多少? 分别适合什么业务场景? 各自有哪些优缺点? 计算存储分离的架构的优势? 计算存储分离的架构适合的业务场景? 近期的roadmap, 计划解决哪些PG用户诟病多年的PG问题?讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
深入浅出 PolarDB-X SQL Engine
PolarDB-X 作为一款兼容MYSQL生态的HTAP云数据库,计算引擎是其不可或缺的部分。本次将首次对外分享SQL Engine 的核心技术,看PolarDB-X计算层是如何用一套代码承担TP和AP业务流量的。讲师简介方孝健(花名:玄弟) 阿里云技术专家个人简介阿里云 PolarDB-X 技术研发,毕业于华中科技大学,兴趣广泛,对分布式系统、大数据等均有涉猎。有多篇技术专利,热衷开源社区,是Apache Storm PMC和Apache Calcite/RocketMq/Spark等多个项目的Contributor。 2015 年加入阿里,分别在大数据和数据库部门从事分布式计算引擎的研发。
高性能PolarDB一体机解决方案
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 中启乘数科技创始人唐成为大家带来《高性能PolarDB一体机解决方案》,他围绕PolarDB的特点、高性能一体机的核心技术、使用场景三个方面来分享了一体机CData的解决方案。他说,CData是将数据库的最佳实践与快速发展的硬件相结合,把计算能力、网络能力、存储能力等各方面做到最佳优化,提供一套高性能、高可靠,最佳性价比的数据库平台,它的使用场景也包括高可用、强一致性、大容量的场景。
从 SQL Server、Oracle 迁移到 PolarDB 的最佳实践
在7月29日PolarDB开源社区南京沙龙中,中启乘数科技创始人唐成分享了《从SQL Server、Oracle迁移到PolarDB的最佳实践》,介绍了PolarDB的产品优势与亮点,从业务需求角度出发,解决企业在数据迁移过程中遇到的痛点。
数据库智能化运维实践
在7月29日PolarDB开源社区南京沙龙上,南京基石数据技术有限责任公司技术总监徐戟(白鳝)分享了《数据库智能运维实践》,从数据库运维面临的困境出发,介绍了在智能化支撑下的数据库运维数字化转型,以及对于ChatGPT的思考和大模型在数据库领域的应用场景。
PolarDB-X 动手实践系列第16期:备库重搭原理与实践
PolarDB-X全新发布的V2.2.1升级版本,加强了生产级关键能力,全面提升PolarDB-X面向数据库生产环境的易用性和安全性。备库重搭是指在备库发生故障时进行恢复的过程,PolarDB-X 基于自身特点实现一套备库重搭流程,可帮助用户及时恢复故障节点。本次分享主要介绍 PolarDB-X 中备库重搭的背景与原理,以及 PolarDB-X Operator 是如何实现 DN 备库重搭的。
开源贡献新手指南:手把手教你成为PolarDB开源贡献者
开源生态的繁荣,离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力,了解到如何更快的参与开源社区,PolarDB开源社区推出《开源贡献新手指南系列》,本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程,即便你不懂编程或代码,也能成为开源贡献者,通过参与开源社区贡献获得自身成长。
PolarDB 开源版在可计算存储上的降本增效原理和实践
企业数据的爆发式增长导致数据库存储成本激增,在公有云上,PolarDB 通过融合自研 Smart-SSD 智能固态硬盘技术,实现性能零损耗,数据存储成本最高下降 60%。在线下,通过 PolarDB 开源数据库和 ScaleFlux 可计算存储产品 CSD2000/3000,也可以降低数据库存储成本并且进一步提升性能。本次分享主要介绍 CSD 降本增效原理以及 PolarDB-X 和 PolarDB-PG 开源版在 CSD 上的部署实践。
PolarDB 开源人才培初级考试备考辅导公开课 | 真题解析
为了让学员的学考更有针对性,本次特邀CUUG首席讲师陈卫星老师(Oracle 10g/11g OCM、PostgreSQL PGCM证书获得者,PolarDB 开源人才初级课程金牌讲师)为您答疑解惑,陈老师目前总共分享过200多场数据库相关技术公开课,此次公开课将对比PolarDB与其它国产数据库的技术特点,分享PolarDB 开源人才初级考试秘笈,助您顺利通过考试。
PolarDB-X 动手实践系列第13期:PolarDB-X 数据导入导出功能
作为 MySQL 生态的云原生分布式数据库,PolarDB-X 不仅兼容 MySQL 生态的数据导入导出方式,如mysqldump 工具、Source 语句、Load data 语句等,而且开发了新的导入导出工具 Batch-Tool,满足用户的数据保存和数据迁移需求,本期分享将介绍 PolarDB-X 的数据导入导出功能,并简单介绍不同方式之间的差异和原理。
PostgreSQL 内核解读系列第五讲:PostgreSQL 索引介绍(上)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述 PostgreSQL 索引基本介绍、B-Tree 索引、Hash 索引、GiS T索引、GIN 索引、TSearch2 全文搜索等内容。
《开源学堂》第4讲 —— HTAP 架构介绍
在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力,对一套TP的数据支持两套执行引擎: 1. 单机执行引擎用于处理高并发的OLTP; 2. MPP跨机分布式执行引擎用于复杂的OLAP查询,发挥集群多个RO节点的算力。讲师/嘉宾简介花名: 北侠title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
《开源大咖说》 - 5 - PolarDB的MPP跨机并行执行
PolarDB的MPP跨机并行执行.讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
《开源大咖说》4期 - 分布式一致性和分布式事务
聊一聊分布式一致性协议和分布式事务协议的关系,以及经典的分布式事务算法。讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB for PostgreSQL 开源架构解读
PolarDB for PostgreSQL是开源分布式云原生数据库, 采用计算存储分离架构, 本期视频介绍了PolarDB PG如何从架构层面解决PG单机版的高并发、HTAP、读写分离延迟等痛点讲师简介花名: 北侠 title: 阿里云高级技术专家个人介绍: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB-X云原生分布式数据库的诞生与发展
随着云计算的普及,阿里巴巴很多内部系统都逐渐演变成云产品。作为典型代表,本次分享将结合这个演变过程讲述PolarDB-X的发展历史、架构演进及决策逻辑、关键特性、未来迭代方向等。讲师介绍吴学强(花名:燧木)阿里云高级技师专家个人简介:阿里云PolarDB-X云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017加入PolarDB-X团队进行高并发低延迟的MySQL分布式相关系统开发工作,目前负责PolarDB-X的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB开源
PolarDB 是阿里云自研的云原生数据库产品家族,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。 2021年,阿里云先后宣布PolarDB PostgreSQL版与PolarDB分布式版开源,并持续推动开源版本迭代和演进,助力开发者通过开源版本快速使用阿里云数据库产品技术,并参与产品迭代中来。 开源历程参见:OpenPolarDB.com/about