【Paper Reading】DEPART:分布式KV存储系统的副本解耦方案
基于LSM-tree的键值存储系统是
NewSQL/NoSQL产品中最常用的底层存储方案,对其进行研究具有重要意义与应用价值。论文针对 分布式键值系统首次提出了副本解耦的思想,在多副本容错机制下能够实现副本数据的高效管理,从而显著提升系统性能。并且论文提出的技术可以应用到Cassandra、TiKV、ScyllaDB等系统中。本次分享将和大家一起讨论基于副本解耦的分布式键值系统的设计实现方案,并探讨未来的推广应用。
PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错
PolarDB for PostgreSQL 源码与应用实战
本课程介绍PostgreSQL的全球概况,并教大家如何用SQL做数据分析和训练机器学习算法模型,以及介绍PolarDB for PostgreSQL运维流程及原理;还介绍了架构演进的三个阶段,并通过搭建PolarDB for PostgreSQL开发测试环境,讲解代码的编写,测试以及提交的全过程。
PG内核解读 - 第3节 存储管理(上)
本文整理自阿里云数据库开源社区Maintainer于巍(花名漠雪),在PostgreSQL数据库内核解读系列的分享。本篇内容主要分为四个部分:
1. 主流存储引擎架构和原理
2. 页面和元组
3. Buffer管理
4. 淘汰算法
直播预告 | pg4ml 机器学习框架介绍与模型案例
pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架,其核心机制是神经网络构建和模型训练。本次分享包括框架介绍、安装部署、模型案例、未来展望、与云计算、PolarDB结合等内容。
分布式数据库,挂掉两台机器会发生什么
挂一部分机器,不会丢数据、不会不可服务,是对现代数据库的一个比较基本的要求。对于早期的单机数据库,一般使用主备架构。主备架构有很多的缺陷,并且这些缺陷是无解的。我们将探讨几个问题:除了协议本身,还有什么样的因素影响分布式数据库的可用性?如何计算不同架构的分布式数据库的可用性?KV层的可用性和关系型数据库的可用性是否等价?数据库的可用性和应用的可用性是否是等价的?