开源数据库企业应用的探索与实践——云栖技术之旅第1期精彩回顾

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: PostgreSQL是一种对象关系型数据库管理系统,这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。   PostgreSQL支持大部分SQL标准并且提供了许多其

274b9b6151c8ac2f71bdc6a3c0a1485177679ce6


PostgreSQL是一种对象关系型数据库管理系统,这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。  

PostgreSQL支持大部分SQL标准并且提供了许多其他现代特性,比如复杂查询、外键、触发器、视图、事务完整性、MVCC等,此外还可以通过许多方法进行特性扩展,一些特性甚至是当今许多商业数据库的前身。 

9月24日,由云栖社区与PostgreSQL中文社区联合主办“云栖技术之旅·开源数据库企业应用实践”专场沙龙在北京阿里中心望京A座举办,PostgreSQL爱好者齐聚,一起探讨最先进的开源数据库的魅力。 


PostgreSQL在互联网企业中的实战


PostgreSQL中国社区核心成员张文升带来了《PostgreSQL在互联网企业中的实战》主题分享。

张文升,目前是探探DBA,负责探探的数据库架构、运维和调优的工作。曾就职于去哪儿网,负责PostgreSQL运维工作。因为对PostgreSQL热开,投入了PostgreSQL开源社区的怀抱,成为核心成员与志愿者。

张文升认为,大家对PostgreSQL还是有很多误解,网络上有很多文章,可能是年代太久远,也可能是其它原因,都认为PostgreSQL只适合做OLAP,不适合在互联网的应用。数据分析是PostgreSQL的强项,多表join、丰富的FDW、窗口函数等在数据分析都有很大的优势。事实上,PostgreSQL在互联网企业应用中也非常好用,做OLTP应用,PG无论在可靠性和性能方面都不输其它任何关系型数据库,包括商业和开源的关系型数据库。去哪网就是国内PostgreSQL最大的用户之一。   

OLTP(联机事务处理)的特点是:高并发,小事务;查询多、写入多;更新多,删除少。对于此类场景的常规解决办法是: 

  • 频繁更新的数据通过表空间放到内存或SSD
  • xlog建议放在单独的存储设备(对于PCI-e卡则没有必要)
  • 拆表(表拆分的好处是可以分布到不同的表空间,autovacuum颗粒度更小,prevent wrap的概率变小,维护更加方便)
  • 拆库(业务数据和日志数据分离,各业务子模块拆分,按用户ID 2^n取模拆分)
  • 尽量精简在线数据
  • 如果磁盘性能比较好,可以将块大小调大至32k

关于PostgreSQL的性能调优,还有很多细致的工作要做,比如可以从操作系统、数据库系统部署、全局配置参数、索引等等方面去做调整,而开发人员可以从应用架构及SQL语句等细节着手进行调优工作。 

此外,PostgreSQL作OLTP应用时,需要使用连接池。每个PostgreSQL进程在工作时会分配1个CPU核使用,因此不适合直接与高并发的短连接应用直接连接。对于互联网高并发场景,加上pgbouncer或pgpool连接池是比较好的解决办法,其中pgbouncer比较轻量实用,维护难度低。 0313c077d6fa2fa05a72330c88647fd1818a72d5

Postgresql是一个数据库内核,比Oracle少了很多功能,但是这些功能都可以通过插件来解决。对于高可用方案,可以通过Pacemaker+Corosync+PostgreSQL Replication来实现。  251d414cd592e128b47976028c9632e2c99a18e0

此外,关于高可用方案、安全、性能调优、全文检索方面的内容,请看演讲PPT和视频回放;

PPT:https://yq.aliyun.com/attachment/download/?id=845

视频回放:https://yq.aliyun.com/edu/lesson/play/370

 

Sybase迁移PostgreSQL经验分享

 

神州飞象高级数据库工程师赖伟带来了Sybase迁移PostgreSQL的项目经验分享,赖伟具有多年关系数据库运维经验,擅长PostgreSQL的调优和运维,具有丰富的数据库开发和异种数据库迁移经验。 

关于迁移的方法,赖伟给出了如下建议: 

  • 迁移主导:在不改变原有架构的基础上进行迁移
  • 测试驱动:迁移之前进行评估、测试
  • 标准化:通过文档将不同的迁移方法进行统一化,标准化
  • 自动化:采用自动化工具来进行迁移

迁移的流程如下:

 7aef28b38a610033b15865e5611c782da3d86159


对于Sybase数据库迁移至PostgreSQL,评估和匹配情况可见下表。 

 71a9ff1f972e00769c8ff8d2dde6104674fec96d

  

迁移具体方法请见演讲PPT和现场视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=846

视频回放:https://yq.aliyun.com/edu/lesson/play/372


PostgreSQL优化器浅析 


在使用PostgreSQL数据库过程中,对SQL调优最常用的手段是使用explain查看执行计划,很多时候只关注执行计划的结果而未深入了解执行计划是如何生成的。优化器作为数据库核心功能之一,也是数据库的“大脑”,理解优化器将有助于我们更好地优化SQL。 

在本次沙龙上,阿里资深开发工程师范孝剑(花名康贤)带来了PostgreSQL优化器原理相关的分享。 

SQL处理过程如下: 

06353c4ad1365f68adf34ce0cf81a30de4fe7780

 在PG数据库中,对于DDL语句无需进行优化,到utility模块处理,对于DML语句需要到优化器中处理,一个用户连接从接收SQL到执行的流程如下:

1c8e9fdf796280a17d21d9127500ba40712a6c5a

以下是几种常见的PostgreSQL优化器对SQL优化的方法: 

  • 查询重写,主要目的是为了消除view、rule等,
  • 提升子链,目标是将IN和exists子句递归提升。
  • 提升子查询
  • 化简条件
  • 外连接消除(left/right/full join)
  • 条件下推(目的为了连接前,元组数组尽量少)
  • 语义优化
  • MIN/MAX优化
  • order by优化
  • distinct优化
  • 集合操作优化

以上这些方法更着重于SQL逻辑优化,也就是尽量对SQL进行等价或者推倒变换,以达到更有的执行计划。此外,PostgreSQL优化器还包括物理查询优化,比如单表扫描方式、多表组合方式、多表组合顺序等。 

关于PostgreSQL优化器原理的讲解请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=847

演讲视频回放:https://yq.aliyun.com/edu/lesson/play/376


Greenplum在听云的大数据实时分析实践


Greenplum是基于PostgreSQL开发的一个关系型数据库,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快,而且性能可以随着硬件的添加呈线性增加,拥有非常良好的可扩展性。因此,它主要适用于面向分析的应用。比如构建企业级ODS/EDW或者数据集市等等。 

在本次沙龙上,听云平台后端数据库工程师周金可为大家介绍了使用Greenplum解决听云实际业务痛点的一些心得。

周金可加入听云时,恰好是业务快速增长的阶段,听云后端的应用以及数据库经受了比较大的考验。去年大多数时间是在做扩容,MySQL集群由最开始的数台实例扩展到现在的数百台实例。

听云数据库经历了由MySQL单机到MySQL分库分表分布式架构的演变,后来数据量继续膨胀,又使用压缩引擎对数据进行压缩。某个模块的单表数据量达百亿级,MySQL Shared方式已经无法保证查询性能,所以听云采用了GreenPlum MPP的方案来解决性能问题。 

从下图中可以看到,采用GreenPlum MPP后性能提升将近三个数量级,检索一天的数据量查询时间仅有90多ms。

  1ffc2cd55cf7f15dfbfb6a85b4af396fa7f31a37

  

关于Greenplum在听云的具体实践,请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=849

视频回放:https://yq.aliyun.com/edu/lesson/play/374


Greenplum分片案例分析 


在使用Greenplum并行过程中会遇到很多问题,其中最重要的一个问题就是分片。本次沙龙最后,阿里资深开发工程师窦贤明(花名执白)介绍了Greenplum分片的原理和分片案例的分析。 

可以通过下面几张图来了解Greenplum分片的原理。 

并行导入

e8ecf527d742d534f70057fdebb2b69faacf1aca

 

复制、插入 

221f5de54019739d47ec5fac5e3d0caf5166dadd

查询  a6fb510354705f5bba5bf67d10d69d86debcf9d6

执白还介绍了Greenplum分片的一些原则,比如大表Join运算的关联字段、防止数据倾斜、避免条件字段等,具体的分片方法请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=850

视频回放:https://yq.aliyun.com/edu/lesson/play/378


关于云栖技术之旅


云栖技术之旅,是由阿里云云栖社区主办,整合了阿里集团内部多个领域顶级技术专家与技术资源,通过线下技术培训的方式,为热爱技术的朋友提供一个交流&分享技术观点、碰撞精彩火花的平台。

更多详情:https://yq.aliyun.com/activity/114


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
8天前
|
SQL Java 数据库连接
除了JDBC,还有哪些常见的数据库访问技术?
除了JDBC,还有哪些常见的数据库访问技术?
103 1
|
24天前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
13天前
|
人工智能 运维 关系型数据库
云栖大会|AI时代的数据库变革升级与实践:Data+AI驱动企业智能新范式
2025云栖大会“AI时代的数据库变革”专场,阿里云瑶池联合B站、小鹏、NVIDIA等分享Data+AI融合实践,发布PolarDB湖库一体化、ApsaraDB Agent等创新成果,全面展现数据库在多模态、智能体、具身智能等场景的技术演进与落地。
|
2月前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
173 8
|
2月前
|
监控 Java 关系型数据库
HikariCP 高性能数据库连接池技术详解与实践指南
本文档全面介绍 HikariCP 高性能数据库连接池的核心概念、架构设计和实践应用。作为目前性能最优异的 Java 数据库连接池实现,HikariCP 以其轻量级、高性能和可靠性著称,已成为 Spring Boot 等主流框架的默认连接池选择。本文将深入探讨其连接管理机制、性能优化策略、监控配置以及与各种框架的集成方式,帮助开发者构建高性能的数据访问层。
104 1
|
2月前
|
存储 弹性计算 Cloud Native
云原生数据库的演进与应用实践
随着企业业务扩展,传统数据库难以应对高并发与弹性需求。云原生数据库应运而生,具备计算存储分离、弹性伸缩、高可用等核心特性,广泛应用于电商、金融、物联网等场景。阿里云PolarDB、Lindorm等产品已形成完善生态,助力企业高效处理数据。未来,AI驱动、Serverless与多云兼容将推动其进一步发展。
139 8
|
2月前
|
SQL 数据管理 BI
数据库操作三基石:DDL、DML、DQL 技术入门指南
本文围绕数据库操作核心语言 DDL、DML、DQL 展开入门讲解。DDL 作为 “结构建筑师”,通过CREATE(建库 / 表)、ALTER(修改表)、DROP(删除)等命令定义数据库结构;DML 作为 “数据管理员”,以INSERT(插入)、UPDATE(更新)、DELETE(删除)操作数据表记录,需搭配WHERE条件避免误操作;DQL 作为 “数据检索师”,通过SELECT结合WHERE、ORDER BY、LIMIT等子句实现数据查询与统计。三者相辅相成,是数据库操作的基础,使用时需注意 DDL 的不可撤销性、DML 的条件约束及 DQL 的效率优化,为数据库学习与实践奠定基础。
|
3月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
159 0
|
2月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
90 3

热门文章

最新文章