PolarDB-PG + LLM 构建专属 Chatbot 技术解析
随着ChatGPT的横空问世,大语言模型带来了各种场景下颠覆性的变革与热议,PolarDB的大模型能力也被OpenAI合入到官方GitHub库中。本次分享主要介绍PolarDB的大模型及其相关应用,包括PolarDB向量技术对应人脸识别应用,PolarDB与OpenAI结合的知识库问答应用及其背后的技术解析。
[PolarDB实操课] 01.PolarDB分布式版架构介绍
学姐和你一起学PolarDB-X系列课程,是面向数据库管理员、架构师、开发人员以及对云原生分布式数据库技术有浓厚兴趣的学习者的深度实践课程,旨在帮助学员全面理解和熟练掌握PolarDB-X的核心技术、架构原理以及实际应用操作。本期课程由PolarDB开源架构师王江颖学姐,为大家介绍PolarDB分布式版的架构。
数据库专家带你体验PolarDB MySQL版 Serverless的极致弹性特性
构建数据库产品 PolarDB MySQL版 Serverless 形态下的性能压测环境,基于可选择的标准压测工具进行压测,构造弹性场景进行压测,实时动态展示弹性能力、价格和性价比结果。
使用PolarDB分布版搭建炫酷个人博客
本期《动手吧,开发者》由阿里云PolarDB高级开发工程师杨鼎带您体验双十一同款数据库,按需领取PolarDB分布式版试用资源即可动手实操!全程手把手教学,10分钟时间即可完成部署~
开源面对面:浅谈数据库技术与人工智能的结合与实践
数据库做机器学习和深度学习有若干技术路线?关于红极一时的 chatGPT有什么看法?数据库能否做 NLP ?Postgresql 在深度学习、人工智能领域能承担起哪些应用?本期开源面对面节目,阿里云数据库开源首席架构师于巍携手PolarDB机器学习框架SIG核心成员、pg4ml 框架作者郭铁成,与你探讨分享数据库技术与机器学习融合的一些思考和实践。
PolarDB PostgreSQL版 Serverless弹性&价格力观测
PolarDB PostgreSQL版 Serverless弹性&价格力观测
2024阿里云PolarDB开发者大会主论坛
AI时代,开发者需要什么样的数据库?如何让数据库像「搭积木」一样简单易用?开发者最关心的话题,我们一网打尽!讲师/嘉宾简介李飞飞,阿里云副总裁,阿里云数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow);黄铭钧,中国科学院外籍院士,新加坡科学院院士,新加坡国立大学杰出教授,ACM、IEEE会士(Fellow);周傲英,华东师范大学数据学院教授,CCF数据库专委会主任;杨辛军,阿里云PolarDB MySQL产品部负责人;
PolarDB-X v2.2 重磅发布:国产ARM适配和HTAP架构
在2022云栖大会,一体化分布式数据库PolarDB-X 发布里程碑的大版本v2.2,本次版本发布重点包含在分布式数据库金融标准下的企业级和国产ARM适配的特性,包含MySQL存储过程、云原生HTAP等八大特性。点此了解开源版本发布详细内容。
PolarDB-X 动手实践系列第六期——如何在 PolarDB-X 中优化慢 SQL
在数据库的开发和运维过程中,慢 SQL 是最常见的问题之一, PolarDB-X 提供了原生的慢 SQL 分析能力,可以很好的帮助我们解决这一问题。本期分享将围绕这一场景演示如何在 PolarDB-X 中分析和解决慢 SQL。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB-PG 企业级特性:Shared Server 特性详解
PolarDB-PG 提供了 Shared Server 内置连接池功能,实现了用户连接与后端进程的解绑。从根本上解决了高并发或者大量短连接带来的性能、稳定性问题。本期分享将会介绍Shared Server的基本原理以及特性,并演示开启Shared Server后的性能对比分析。
阿里云PolarDB开发者大会首度召开,让数据库开发像“搭积木”一样简单
1月17日,阿里云PolarDB开发者大会在京举办,中国首款自研云原生数据库PolarDB发布“三层分离”新版本,基于智能决策实现查询性能10倍提升、节省50%成本。PolarDB在过去3年实现400%的增速,目前用户数已超过10000家,广泛落地于政务、金融、电信、物流、互联网等领域的核心业务系统。
手把手教你成为PolarDB开源贡献者
开源生态的繁荣,离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力,了解到如何更快的参与开源社区,PolarDB开源社区推出《开源贡献新手指南系列》,本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程,即便你不懂编程或代码,也能成为开源贡献者,通过参与开源社区贡献获得自身成长。
PolarDB开源数据库工作室推广计划
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 CUUG负责人陈卫星为大家分享了《PolarDB数据库工作室的推广计划》。他说,我们通过走进高校成立《PolarDB数据库工作室》,来举办数据库讲座、认证培训、数据库比赛等活动。目前已经在北科天津学院、天财大学珠江学院、渤海大学、北方学院、温州理工学院等10多所院校成立工作室,通过PolarDB 初级认证的学生已经突破1000多人。
饮水思源、万象更新 - 数据库开源沙龙(杭州站)
本次沙龙是PostgreSQL中文社区与阿里云数据库开源团队联合主办的。PostgreSQL生态技术沙龙,旨在推动PG的用户交流,分享最新热门的数据库技术,包括阿里云开源的PolarDBforPG共享存储版本如何实现类似Oracle的RAC架构?PG如何支持DirectIO?PG的内核学习方法等.大咖云集,欢迎报名参加.2021年10月30日(12:00~18:00)杭州市滨江区长河路中控信息B座1708活动嘉宾及议题曲山阿里云数据库开源负责人介绍沙龙目标, KOL、SIG、开源计划, 开源的使命.唐成杭州乘数科技CTO、PG社区常委, 内核专家PostgreSQL DirectIO开发实践北侠阿里巴巴数据库内核领域专家PolarDB PG 架构介绍与源码贡献圆珠阿里巴巴数据库分布式存储领域专家PolarDB PG分布式共享存储层原理蟾兔阿里巴巴数据库云原生领域专家PolarDB Stack 管控平台最佳实践朱贤文成都文武科技CTO、PG社区常委, 内核专家PolarDB on 鸿鹄吕海波杭州美创科技数据库内核专家、PG内核专家PostgreSQL Non-FPW开发实践
从 SQL Server、Oracle 迁移到 PolarDB 的最佳实践
在7月29日PolarDB开源社区南京沙龙中,中启乘数科技创始人唐成分享了《从SQL Server、Oracle迁移到PolarDB的最佳实践》,介绍了PolarDB的产品优势与亮点,从业务需求角度出发,解决企业在数据迁移过程中遇到的痛点。
在 CurveBS 上部署跨机 PolarDB for PostgreSQL 集群
Curve 是网易开源的高性能、高可用、高可靠分布式存储系统,具备良好的扩展性,可应用于主流的云原生基础设施平台。本期开源学堂将演示如何使用 CurveBS 存储集群作为共享块存储底座,在多台 ECS 上部署 PolarDB-PG 共享存储数据库集群。同时简析部署流程背后的技术原理。
PostgreSQL 内核解读系列第六讲:PostgreSQL 索引介绍(下)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述 PostgreSQL 索引基本介绍,涵盖Hash索引、Bitmap索引、GiST索引、GIN索引、brin索引、其他索引等内容。
开源学堂:PolarDB 管控如何保障 DB 一致性
当 DB 集群出现 HA 场景时,原本单写的 DB 有可能出现双写的情况,管控如何来避免这种场景导致的一致性问题?本期开源学堂讲详细介绍管控在设计过程中如何考虑并且避免 DB 自身无法解决的一致性问题。讲师/嘉宾简介蟾兔,阿里云 PolarDB for PostgreSQL 云原生管控, PolarDB Stack 开源负责人之一,曾参与线下版 PolarDB Stack Operator、存储管理等模块开发工作,是 PolarDB Stack 开源版代码的主要贡献人,目前主要工作为 PolarDB 公共云管控研发。
第一讲:PolarDB for PostgreSQL架构解析
介绍PolarDB for PostgreSQL一写多读的架构优势、特点 以及性能优势。
透明压缩技术:数据库存储降本增效的软硬件协同方案
在ScaleFlux & PolarDB meetup中,ScaleFlux 解决方案架构师董红禹进行了《透明压缩技术:数据库存储降本增效的软硬件协同方案》的分享,从数据计算存储的发展趋势、透明压缩技术原理与应用场景以及数据库的应用价值三个方面,为大家介绍了可计算存储在数据存储降本增效的应用与实践。
数字贸易&PolarDB开源中国行-无锡站
智赢跨境电商平台集中运营协同系统分享,助力外贸企业数字化转型阿里资深导师,深度交流PolarDB数据库实践之路。
在阿里云 ESSD 云盘上部署 PolarDB for PostgreSQL 集群
阿里云 ESSD 云盘结合 25 GE 网络和 RDMA 技术,能够提供单盘高达 100 万的随机读写能力和单路低时延性能,同时支持多重挂载在多个 ECS 实例上。本期开源学堂将演示使用一个 ESSD 云盘作为共享存储多重挂载到两个 ECS 实例上,并分别在两个 ECS 实例上部署 PolarDB-PG 节点组成集群。同时简析部署准备过程中的技术原理。讲师/嘉宾简介棠羽,阿里云 PolarDB-PG 云原生数据库内核开发工程师,毕业于南京航空航天大学计算机学院。2022 年加入 PolarDB-PG 团队,主要负责 HTAP 和分布式执行层的研发工作。
PolarDB-X 动手实践系列第一讲:如何一键部署开源 PolarDB-X
云原生分布式数据库 PolarDB-X 已于 2021 年 10 月 20 日开源,想要体验水平扩容、分布式事务、全局二级索引、全局 Binlog 等特性的前提是能够在本地部署一个 PolarDB-X 集群,本次分享将介绍 PolarDB-X 的多种部署方式,带你踏上体验 PolarDB-X 的第一步。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
[PolarDB实操课] 03.使用PXD部署PolarDB企业版和标准版
学姐和你一起学PolarDB-X系列课程,是面向数据库管理员、架构师、开发人员以及对云原生分布式数据库技术有浓厚兴趣的学习者的深度实践课程,旨在帮助学员全面理解和熟练掌握PolarDB-X的核心技术、架构原理以及实际应用操作。本期课程由PolarDB开源架构师王春雨学姐,为大家示范如何使用PXD部署PolarDB企业版和标准版。
PolarDB 开源版在可计算存储上的降本增效原理和实践
企业数据的爆发式增长导致数据库存储成本激增,在公有云上,PolarDB 通过融合自研 Smart-SSD 智能固态硬盘技术,实现性能零损耗,数据存储成本最高下降 60%。在线下,通过 PolarDB 开源数据库和 ScaleFlux 可计算存储产品 CSD2000/3000,也可以降低数据库存储成本并且进一步提升性能。本次分享主要介绍 CSD 降本增效原理以及 PolarDB-X 和 PolarDB-PG 开源版在 CSD 上的部署实践。
PolarDB-X 动手实践系列第15期:PolarDB-X 的存储过程与自定义函数
为了满足更多用户和更多场景的需求,PolarDB-X 支持了兼容 MySQL 的存储过程和自定义函数。本期分享将对上述功能进行演示,并简单介绍背后的设计思路及技术原理。
PostgreSQL 内核解读系列第四讲:PostgreSQL 存储管理(二)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述PostgreSQL的存储管理,涵盖磁盘管理(Storage Managers、VFD)、 空闲空间映射表(FSM)、可见性映射表(VM)、内存管理等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
PostgreSQL 内核解读系列第二讲:PostgreSQL 体系结构
本系列课程将面向 DBA、高校学生、内核爱好者,分15章节,系统化介绍 PostgreSQL 核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和 DBA,也可以进行简单的特性开发,更深入理解PostgreSQL 配置和运行原理。本节课将讲述 PostgreSQL 的体系架构,涵盖系统表,初始化、启动、查询流程,辅助进程等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
PolarDB-X 动手实践系列第九期——PolarDB-X Replica原理和使用
Replication用来进行MySQL数据库之间的高效复制,是构建MySQL主备和多主架构的基础能力。PolarDB-X 2.1.0 版本新增兼容MySQL Replica相关指令,实现了MySQL和PolarDB-X之间的数据复制。本期分享将分别演示PolarDB-X作为MySQL和PolarDB-X的备库,并简单介绍背后的技术原理。讲师/嘉宾简介积月,阿里云 PolarDB-X 云原生分布式数据库高级开发工程师,毕业于南京大学计算机系。2021年加入 PolarDB-X 团队,主要负责数据迁移等生态组件研发工作。
PolarDB-X 动手实践系列——用 PolarDB-X + Flink 搭建实时数据大屏
数据大屏在业务展示和决策中扮演重要角色,而背后的实时计算是数据大屏实现的关键技术之一。本次演示通过 PolarDB-X + Flink + Vue 搭建一个实时数据链路,模拟阿里巴巴双十一 GMV 大屏。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
2024阿里云PolarDB开发者大会一站式数据管理分会场
解读“AI驱动下走向一站式智能化的数据平台”。深入剖析云原生一体化HTAP、可信密态数据管理体系,分享PolarDB多模态空间数据管理能力的最佳实践。讲师/嘉宾简介周文超,阿里云数据库事业部生态工具产品部负责人张广舟,阿里云PolarDB PostgreSQL产品部负责人
2024阿里云PolarDB开发者大会分布式技术分会场
共探PolarDB分布式版发展方向。揭秘集中分布式一体化技术原理、HTAP列存索引新特性。分享广东电网、收钱吧等政务、金融行业最佳实践。讲师/嘉宾简介黄贵,阿里云PolarDB分布式产品部负责人楼江航,阿里云数据库资深技术专家
“国产数据库共话未来趋势”技术沙龙上海站
2024年1月6日,由阿里云 PolarDB开源社区发起,PostgreSQL中文社区、拓数派联合主办的“国产数据库共话未来趋势”技术沙龙在上海成功举行。本次活动,我们邀请到了各个行业数据库专家,分享交流国产数据库的实践与应用,深入探讨数据库技术,交流国产数据库的发展状况和未来。
开源面对面:《浅谈数据库技术与人工智能的结合与实践》
数据库做机器学习和深度学习有若干技术路线?关于红极一时的 chatGPT有什么看法?数据库能否做 NLP ?Postgresql 在深度学习、人工智能领域能承担起哪些应用?本期开源面对面节目,阿里云数据库开源首席架构师于巍携手PolarDB机器学习框架SIG核心成员、pg4ml 框架作者郭铁成,与你探讨分享数据库技术与机器学习融合的一些思考和实践。
Kubernetes与PolarDB-X开源
Kubernetes是使用PolarDB-X开源版本绕不开的话题,了解Kubernetes不光有助于更好的使用PolarDB-X,还能通过Kubernetes的架构设计去理解分布式系统的资源调度核心思路。本期分享将介绍Kubernetes基础和PolarDB-X开源是如何使用Kubernetes来实现集群管理。
国产数据库研制人才培养实践
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 武汉大学计算机学院博士彭煜玮老师,为我们分享了武汉大学在国产数据库研制人才培养方面的经验。彭老师向大家介绍了武汉大学计算机学院本科学生的组成、数据库主干课程和支线课程的设置,重点从数据库使用、应用开发和数据库内核开发两个方面分享了国产/开源数据库在武汉大学数据库教学中应用的实践,举例讲解了与OceanBase和PolarDB的项目合作的一些细节和进展。
PolarDB PostgreSQL版企业级特性解读:Global Cache
阿里云PolarDB数据库技术专家吴辉静:《PolarDB PostgreSQL企业级特性解读——Global Cache》。本次分享首先介绍了PostgreSQL的缓存机制data cache和meta cache,并分析了其中存在的问题,随后提出了PolarDB的global cache优化方案,吴老师在分享中详细说明了global cache的架构与实现。
《Serverless数据库技术研究报告》解读
在PolarDB & ScaleFlux meetup中,阿里云数据库开源首席架构师、PolarDB开源社区技术委员会副主席于巍进行了《助力企业降本增效-〈Serverless数据库技术研究报告〉解读》的分享,就《Serverless数据库技术研究报告》与 《数据库Serverless能力分级要求》进行了详细介绍。
开源贡献新手指南:手把手教你成为PolarDB开源贡献者
开源生态的繁荣,离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力,了解到如何更快的参与开源社区,PolarDB开源社区推出《开源贡献新手指南系列》,本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程,即便你不懂编程或代码,也能成为开源贡献者,通过参与开源社区贡献获得自身成长。
共建云原生开源生态 PolarDB × Curve 杭州 Meetup
10月15日,PolarDB 和 Curve 两大开源社区于杭州联合举办线下 Meetup,活动邀请到了来自阿里云、网易数帆、乘数科技的资深技术专家,为大家带来 PolarDB-PG、PolarDB-X 及 Curve 三大开源项目的最佳实践及生态合作案例。
PolarDB-X 动手实践系列第13期:PolarDB-X 数据导入导出功能
作为 MySQL 生态的云原生分布式数据库,PolarDB-X 不仅兼容 MySQL 生态的数据导入导出方式,如mysqldump 工具、Source 语句、Load data 语句等,而且开发了新的导入导出工具 Batch-Tool,满足用户的数据保存和数据迁移需求,本期分享将介绍 PolarDB-X 的数据导入导出功能,并简单介绍不同方式之间的差异和原理。
大咖对话:企业如何用好开源数据库
本期直播与欧冶云商数据库总监重点探讨了该企业用了哪些开源数据库产品,采用开源数据库的业务有哪些特征? 为什么采用开源数据库? 企业数据库选型的通用原则,以及企业如何抓住开源红利等内容。讲师/嘉宾简介惊玄 阿里云数据库开源战役负责人,阿里云数据库资深技术专家薛晓刚 欧冶云商数据库总监,行业资深数据库研究员
PostgreSQL 内核解读系列第一讲:PostgreSQL 系统概述
本系列课程将面向DBA、高校学生、内核爱好者,介绍PG内核架构、各模块基本原理、用法、代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本课程包含15个章节,系统化介绍PG架构、SQL引擎、执行引擎、存储引擎、并发控制、HA、分布式等核心技术原理和代码实现。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
《PolarDB for PostgreSQL内核》第2讲 数据一致性
PolarDB for PostgreSQL是开源的计算存储分离分布式数据库, 如何保障多个计算节点之间的数据一致性? 如何解决内存状态同步、未来页、过去页的问题?讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
开源大咖说-为什么PolarDB选择计算存储分离架构
议题为什么选择计算存储分离的架构内容简介主流的数据库架构有哪些? 市场占比分别有多少? 分别适合什么业务场景? 各自有哪些优缺点? 计算存储分离的架构的优势? 计算存储分离的架构适合的业务场景? 近期的roadmap, 计划解决哪些PG用户诟病多年的PG问题?讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB开源
PolarDB 是阿里云自研的云原生数据库产品家族,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。 2021年,阿里云先后宣布PolarDB PostgreSQL版与PolarDB分布式版开源,并持续推动开源版本迭代和演进,助力开发者通过开源版本快速使用阿里云数据库产品技术,并参与产品迭代中来。 开源历程参见:OpenPolarDB.com/about