PolarDB-X 动手实践系列第16期:备库重搭原理与实践
PolarDB-X全新发布的V2.2.1升级版本,加强了生产级关键能力,全面提升PolarDB-X面向数据库生产环境的易用性和安全性。备库重搭是指在备库发生故障时进行恢复的过程,PolarDB-X 基于自身特点实现一套备库重搭流程,可帮助用户及时恢复故障节点。本次分享主要介绍 PolarDB-X 中备库重搭的背景与原理,以及 PolarDB-X Operator 是如何实现 DN 备库重搭的。
PolarDB-X 动手实践系列第六期——如何在 PolarDB-X 中优化慢 SQL
在数据库的开发和运维过程中,慢 SQL 是最常见的问题之一, PolarDB-X 提供了原生的慢 SQL 分析能力,可以很好的帮助我们解决这一问题。本期分享将围绕这一场景演示如何在 PolarDB-X 中分析和解决慢 SQL。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
2024阿里云PolarDB开发者大会分布式技术分会场
共探PolarDB分布式版发展方向。揭秘集中分布式一体化技术原理、HTAP列存索引新特性。分享广东电网、收钱吧等政务、金融行业最佳实践。讲师/嘉宾简介黄贵,阿里云PolarDB分布式产品部负责人楼江航,阿里云数据库资深技术专家
MySQL & PostgreSQL 终极大比拼
MySQL、PostgreSQL,乃至各种各样的数据库,孰强孰弱,难以辨别。究其原因,只因”不识庐山真面目,只缘身在此山中“。只需跳出”数据库“三字,一切自然看的分明。本次分享将带你换个维度,发现真相。
PolarDB-X的存储过程&自定义函数
为了满足更多用户和更多场景的需求,PolarDB-X 支持了兼容 MySQL 的存储过程和自定义函数。本期分享将对上述功能进行演示,并简单介绍背后的设计思路及技术原理。
手把手教你成为PolarDB开源贡献者
开源生态的繁荣,离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力,了解到如何更快的参与开源社区,PolarDB开源社区推出《开源贡献新手指南系列》,本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程,即便你不懂编程或代码,也能成为开源贡献者,通过参与开源社区贡献获得自身成长。
PolarDB-PG 企业级特性:闪回功能详解
闪回表(Flashback Table) 功能是PolarDB-PG数据库高可用的一个重要特性,支持在数据人为误操作时,快速闪回到某个时间点,恢复以及查看丢失的数据。本期分享将会介绍闪回表、闪回日志的基本原理以及特性,并演示闪回功能的使用方法。
OceanBase 4.x 关键特性解读
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 OceanBase 内核研发专家李博洋带来了《OceanBase 4.x 关键特性解读》。他从OceanBase 发展历程及构架演进开始讲起,分享了OceanBase 架构发展历程,重点介绍了什么是单机分布式一体化、4.x 的单机分布式一体化能给大家带来了什么?他说,做单机分布式一体化架构实际上有很多方面的挑战,最大最核心的挑战其实是在性能这方面。我们在这方面做了很大的努力,单机性能在单机部署时做到和单机数据库相当;在分布式部署时,我们在保证可扩展性的同时,还能获得更高的性能和更低的时延。
数据库智能化运维实践
在7月29日PolarDB开源社区南京沙龙上,南京基石数据技术有限责任公司技术总监徐戟(白鳝)分享了《数据库智能运维实践》,从数据库运维面临的困境出发,介绍了在智能化支撑下的数据库运维数字化转型,以及对于ChatGPT的思考和大模型在数据库领域的应用场景。
Kubernetes 基础与 PolarDB-X 开源
Kubernetes是使用PolarDB-X开源版本绕不开的话题,了解Kubernetes不光有助于更好的使用PolarDB-X,还能通过Kubernetes的架构设计去理解分布式系统的资源调度核心思路。本期分享将介绍Kubernetes基础和PolarDB-X开源是如何使用Kubernetes来实现集群管理。
亿视电子基于PolarDB-X打造能源数字基座实践
在本次 PolarDB & ScaleFlux 联合meetup中,来自亿视电子的技术总监韩毅老师分享了亿视电子基于PolarDB-X打造能源数字基座实践。
PolarDB 开源版在可计算存储上的降本增效原理和实践
企业数据的爆发式增长导致数据库存储成本激增,在公有云上,PolarDB 通过融合自研 Smart-SSD 智能固态硬盘技术,实现性能零损耗,数据存储成本最高下降 60%。在线下,通过 PolarDB 开源数据库和 ScaleFlux 可计算存储产品 CSD2000/3000,也可以降低数据库存储成本并且进一步提升性能。本次分享主要介绍 CSD 降本增效原理以及 PolarDB-X 和 PolarDB-PG 开源版在 CSD 上的部署实践。
pg4ml 机器学习框架介绍与模型案例
pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架,其核心机制是神经网络构建和模型训练。本次分享将由pg4ml 框架作者郭铁成带来 pg4ml 机器学习框架介绍与模型案例的分享,涵盖框架介绍、安装部署、模型案例、未来展望、与云计算、PolarDB结合等内容。
PostgreSQL 内核解读系列第六讲:PostgreSQL 索引介绍(下)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述 PostgreSQL 索引基本介绍,涵盖Hash索引、Bitmap索引、GiST索引、GIN索引、brin索引、其他索引等内容。
PolarDB-X 动手实践系列第12期:PolarDB-X on OSS 冷热数据分离存储
PolarDB-X的冷数据归档功能可以自动从源表中剥离出冷数据,归档至更低成本的OSS中。归档表支持高效的主键与索引点查、复杂分析型查询,满足高可用、MySQL兼容性和任意时间点闪回等特性,也可以用开源大数据产品接入OSS的归档数据。本期分享将介绍OSS冷数据归档功能,并简单介绍背后的设计思路及技术原理。
EMQX + PolarDB-X 一站式 IoT 数据解决方案
EMQX 是一款大规模可弹性伸缩的云原生分布式物联网 MQTT 消息服务器。PolarDB-X 超高并发、海量存储的特性可以应对物联网大规模设备接入所需的各类数据存储场景。其分布式特性以及存储计算分离架构带来的水平扩展、分布式事务、混合负载等能力可以与同样是分布式的 EMQX 结合使用,打造真正的可伸缩物联网应用,应对从数千到数千万的设备接入。
PolarDB-X 动手实践系列第二讲:开始使用 PolarDB-X
作为 MySQL 生态原生分布式数据库,PolarDB-X 的使用并没有你想象的那么难,如果你是 MySQL 用户,你甚至会觉得 PolarDB-X 上手很简单。本期分享将以 Spring 和 WordPress 官方教程为例,带你体验 Spring Boot + PolarDB-X 和 WordPress + PolarDB-X 的应用开发之旅。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
开源学堂:PolarDB 管控如何保障 DB 一致性
当 DB 集群出现 HA 场景时,原本单写的 DB 有可能出现双写的情况,管控如何来避免这种场景导致的一致性问题?本期开源学堂讲详细介绍管控在设计过程中如何考虑并且避免 DB 自身无法解决的一致性问题。讲师/嘉宾简介蟾兔,阿里云 PolarDB for PostgreSQL 云原生管控, PolarDB Stack 开源负责人之一,曾参与线下版 PolarDB Stack Operator、存储管理等模块开发工作,是 PolarDB Stack 开源版代码的主要贡献人,目前主要工作为 PolarDB 公共云管控研发。
《开源学堂》第3讲-PolarDB PG低延迟复制技术
开源PostgreSQL的WAL主从复制在高压力下会导致大量的网络传输以及从库延迟, PolarDB的共享存储架构如何使用lazy方式实现低带宽毫秒级延迟复制. 讲师简介 花名: 北侠 title: 阿里云高级技术专家 个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
开源大咖说第3期-分布式一致性
大纲: • 分布式一致性中的概念 • 分布式有哪些一致性算法 • 具体介绍下paxos和raft • 分布式一致性算法能干什么 • 分布式一致性算法和分布式事务的关系 • 最后介绍下PolarStore的一致性算法讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB for PostgreSQL 开源架构解读
PolarDB for PostgreSQL是开源分布式云原生数据库, 采用计算存储分离架构, 本期视频介绍了PolarDB PG如何从架构层面解决PG单机版的高并发、HTAP、读写分离延迟等痛点讲师简介花名: 北侠 title: 阿里云高级技术专家个人介绍: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
2024阿里云PolarDB开发者大会开源生态分会场
围绕开源生态,与开发同行共创国产数据库之光。开放产品生态,携各界伙伴论道业务方案与实践。坚定自主创新,持续构建和打造企业级产品能力。讲师/嘉宾简介王远,阿里云数据库事业部产品管理&技术架构部负责人刘斌,武汉大学计算机学院博士讲师张国锋,上海开源信息技术协会秘书长
2024阿里云PolarDB开发者大会一站式数据管理分会场
解读“AI驱动下走向一站式智能化的数据平台”。深入剖析云原生一体化HTAP、可信密态数据管理体系,分享PolarDB多模态空间数据管理能力的最佳实践。讲师/嘉宾简介周文超,阿里云数据库事业部生态工具产品部负责人张广舟,阿里云PolarDB PostgreSQL产品部负责人
PolarDB-PG 企业级特性:Shared Server 特性详解
PolarDB-PG 提供了 Shared Server 内置连接池功能,实现了用户连接与后端进程的解绑。从根本上解决了高并发或者大量短连接带来的性能、稳定性问题。本期分享将会介绍Shared Server的基本原理以及特性,并演示开启Shared Server后的性能对比分析。
PolarDB开源数据库云上实验室:云时代下的数据库学习新范式
在学习数据库的过程中,一个便捷的练习环境是走向成功的关键第一步。为了方便开发者学习和使用开源数据库,PolarDB提供了免费的在线实验环境,内置PG开源数据库以及PolarDB开源数据库:PostgreSQL版和分布式版的容器镜像。无需下载或安装,只需一键启动,便可立即投入学习。立即体验:https://developer.aliyun.com/adc/scenario/f55dbfac77c0467a9d3cd95ff6697a31
PolarDB-X 备份恢复原理与实践
备份恢复是生产级数据库必不可少的功能,而PolarDB-X 作为一款分布式数据库,备份数据的全局一致也是最基本的要求。本期分享将介绍PolarDB-X 开源版备份恢复功能的背景与原理,以及如何使用 PolarDB-X Operator 实现备份调度。
PG在跨境电商的应用
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 智赢跨境创始人、PG 中国社区 MVP 于培恒带来主题分享《PG在跨境电商的应用》,他说,由于智赢八年积累60亿数据,通过数据处理降低成本被提上日程,本着“省钱的技术才是真本事,不变的技术才是硬通货” 的理念,选择应用 PostgreSQL 数据库。对于智赢的业务场景而言,PostgreSQL 的优点在于数据类型多、索引类型多、函数多、插件多。
PolarDB开源数据库工作室推广计划
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 CUUG负责人陈卫星为大家分享了《PolarDB数据库工作室的推广计划》。他说,我们通过走进高校成立《PolarDB数据库工作室》,来举办数据库讲座、认证培训、数据库比赛等活动。目前已经在北科天津学院、天财大学珠江学院、渤海大学、北方学院、温州理工学院等10多所院校成立工作室,通过PolarDB 初级认证的学生已经突破1000多人。
国产数据库研制人才培养实践
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 武汉大学计算机学院博士彭煜玮老师,为我们分享了武汉大学在国产数据库研制人才培养方面的经验。彭老师向大家介绍了武汉大学计算机学院本科学生的组成、数据库主干课程和支线课程的设置,重点从数据库使用、应用开发和数据库内核开发两个方面分享了国产/开源数据库在武汉大学数据库教学中应用的实践,举例讲解了与OceanBase和PolarDB的项目合作的一些细节和进展。
【视频回放】PolarDB开源数据库&PG中文社区技术沙龙武汉站
6月3日,由PostgreSQL中文社区和PolarDB开源社区联合举办的数据库技术沙龙(武汉站)圆满落幕!本次活动邀请到来自阿里云、成都文武,四维纵横,拓数派,斗鱼、武汉大学等多位资深技术专家与老师,这次技术交流活动围绕未来数据库展开讨论和分享。通过探讨未来数据库的概念和特点,了解未来数据库在数据管理、智能分析、数据驱动等领域的应用和机遇,为智能化时代的发展提供更多的支持和服务。
PolarDB高校工作组计划发布
在5月12日PolarDB开源社区温州线下沙龙中,北京神脑资讯技术有限公司总裁陈卫星发布了《PolarDB高校工作组计划》,目前已经在多个高校开展工作,今年计划在近百所高校创建PolarDB开源数据库工作室,培养近万名PolarDB认证工程师。
pg4ml 机器学习框架系列课程:实现细节、XOR 模型案例(下)
pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架,本次讲解的实验环境基于PolarDB-PG开源数据库。本次分享主要介绍框架的实现细节,并构建XOR两层网络的模型案例,包括计算图和链式求导设计、训练任务的结构与准备、执行、监控、测试验证等内容。
PolarDB for PostgreSQL 企业级特性发布
在2022云栖大会上,PolarDB for PostgreSQL的升级发布,主要在性能、高可用、安全等企业级特性,HLC高扩展分布式版本,Sharding插件化等方面进行升级。
【开源人说】数据库PolarDB专场
是什么让客户代表喊出了“国货之光”?来「开源人说」数据库PolarDB专场直播揭晓答案!5位阿里云数据库超级大咖、10位阿里云数据库开源生态伙伴嘉宾 、数十位业内资深开发者在现场进行了深度交流。
共建云原生开源生态 PolarDB × Curve 杭州 Meetup
10月15日,PolarDB 和 Curve 两大开源社区于杭州联合举办线下 Meetup,活动邀请到了来自阿里云、网易数帆、乘数科技的资深技术专家,为大家带来 PolarDB-PG、PolarDB-X 及 Curve 三大开源项目的最佳实践及生态合作案例。
PostgreSQL 内核解读系列第五讲:PostgreSQL 索引介绍(上)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述 PostgreSQL 索引基本介绍、B-Tree 索引、Hash 索引、GiS T索引、GIN 索引、TSearch2 全文搜索等内容。
PolarDB-X 动手实践系列第11期:PolarDB-X 的 TTL 分区表功能介绍及原理解析
在某些业务场景下,数据库的数据会增量很快,并且数据热度随着时间推移会有明显的降低。如果数据一直存储在 PolarDB-X 中,既会占用存储空间,也会降低正常业务查询的效率。所以,需要有一个机制,能让冷数据定期地转移到其他成本更低的存储,以及让冷数据在 PolarDB-X 中自动删除,这就是TTL分区表。本次分享将详细介绍 PolarDB-X 的 TTL分区表功能及其原理解析。讲师/嘉宾简介姑胥,阿里云 PolarDB-X 云原生分布式数据库高级开发工程师。主要负责分布式数据库DDL、分区均衡等领域。
PolarDB-X 动手实践系列第九期——PolarDB-X Replica原理和使用
Replication用来进行MySQL数据库之间的高效复制,是构建MySQL主备和多主架构的基础能力。PolarDB-X 2.1.0 版本新增兼容MySQL Replica相关指令,实现了MySQL和PolarDB-X之间的数据复制。本期分享将分别演示PolarDB-X作为MySQL和PolarDB-X的备库,并简单介绍背后的技术原理。讲师/嘉宾简介积月,阿里云 PolarDB-X 云原生分布式数据库高级开发工程师,毕业于南京大学计算机系。2021年加入 PolarDB-X 团队,主要负责数据迁移等生态组件研发工作。
《开源学堂》第4讲 —— HTAP 架构介绍
在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力,对一套TP的数据支持两套执行引擎: 1. 单机执行引擎用于处理高并发的OLTP; 2. MPP跨机分布式执行引擎用于复杂的OLAP查询,发挥集群多个RO节点的算力。讲师/嘉宾简介花名: 北侠title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
《PolarDB for PostgreSQL内核》第2讲 数据一致性
PolarDB for PostgreSQL是开源的计算存储分离分布式数据库, 如何保障多个计算节点之间的数据一致性? 如何解决内存状态同步、未来页、过去页的问题?讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
深入浅出 PolarDB-X SQL Engine
PolarDB-X 作为一款兼容MYSQL生态的HTAP云数据库,计算引擎是其不可或缺的部分。本次将首次对外分享SQL Engine 的核心技术,看PolarDB-X计算层是如何用一套代码承担TP和AP业务流量的。讲师简介方孝健(花名:玄弟) 阿里云技术专家个人简介阿里云 PolarDB-X 技术研发,毕业于华中科技大学,兴趣广泛,对分布式系统、大数据等均有涉猎。有多篇技术专利,热衷开源社区,是Apache Storm PMC和Apache Calcite/RocketMq/Spark等多个项目的Contributor。 2015 年加入阿里,分别在大数据和数据库部门从事分布式计算引擎的研发。
2024阿里云PolarDB开发者大会云原生技术分会场
详解PolarDB MySQL版Serverless、IMCI、NL2SQL等领先特性的技术实现。现场Demo演示,直观感受PolarDB产品特性。携手客户,解读PolarDB最佳实践。讲师/嘉宾简介杨辛军,阿里云PolarDB MySQL产品部负责人
AI时代下的数据库变革
《AI 时代下的数据库变革》,主讲人:磐吉云数创始人CEO冯若航。在PolarDB开源社区温州沙龙冯若航为大家介绍了向量数据库以及与数据库自动驾驶领域的发展情况,分享了对于AI大模型在数据库领域的变革与思考。
开源贡献新手指南:手把手教你成为PolarDB开源贡献者
开源生态的繁荣,离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力,了解到如何更快的参与开源社区,PolarDB开源社区推出《开源贡献新手指南系列》,本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程,即便你不懂编程或代码,也能成为开源贡献者,通过参与开源社区贡献获得自身成长。
柏睿数据 × PolarDB 湖仓一体联合解决方案
作为阿里云PolarDB开源社区的生态伙伴,柏睿数据和PolarDB联手,根据产品的特殊点整合统一的解决方案,新方案融合数据湖和数据仓库成为一种新型的开放式数据平台架构,PolarDB做湖,RapidsDB做仓,将数据湖和数据仓库的优势充分结合,通过RapidsDB的federation能力构建在数据湖低成本的数据存储架构之上,又继承了数据仓库的数据处理、分析和管理功能。本次分享将详细介绍湖和仓的边界区分,业内的通用数据同步实现方案以及RapidsDB的技术特性。
【论文解读】VLDB 2022:Ganos——阿里云多维度、动态、场景化的云原生时空数据库引擎
《Ganos: A Multidimensional, Dynamic, and Scene-Oriented Cloud-Native Spatial Database Engine》介绍了空天数据库引擎Ganos背后的系统设计,分析了对地观测、数字孪生等新技术浪潮背景下多维、动态、场景化新型空间多模态数据的挑战,自底向上提出了低成本高可用对象存储扩展、空间/时空/网格新型数据类型与模型体系、多维索引访问方法和空间多级并行查询与优化整体框架。Ganos加持PolarDB数据库,使之成为业界首个具备云原生空间数据引擎,且最早系统性支持移动对象和3D场景数据处理能力的商业化数据库。
数字贸易&PolarDB开源中国行-无锡站
智赢跨境电商平台集中运营协同系统分享,助力外贸企业数字化转型阿里资深导师,深度交流PolarDB数据库实践之路。
PolarDB-X 动手实践系列第14期:PolarDB-X 的表组与分区变更
为了追求极致的性能,在 AUTO 模式下,PolarDB-X 引入了表组的概念,可以维持表之间的关联查询稳定的下推关系,消除分布式事务。同时提供丰富的分区管理能力(例如热点处理,数据隔离等),满足业务上的不同需求。本期分享将对上述功能以及背后的设计逻辑展开介绍。
PolarDB开源
PolarDB 是阿里云自研的云原生数据库产品家族,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。 2021年,阿里云先后宣布PolarDB PostgreSQL版与PolarDB分布式版开源,并持续推动开源版本迭代和演进,助力开发者通过开源版本快速使用阿里云数据库产品技术,并参与产品迭代中来。 开源历程参见:OpenPolarDB.com/about