PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错
【Paper Reading】DEPART：分布式KV存储系统的副本解耦方案
基于LSM-tree的键值存储系统是
NewSQL/NoSQL产品中最常用的底层存储方案，对其进行研究具有重要意义与应用价值。论文针对 分布式键值系统首次提出了副本解耦的思想，在多副本容错机制下能够实现副本数据的高效管理，从而显著提升系统性能。并且论文提出的技术可以应用到Cassandra、TiKV、ScyllaDB等系统中。本次分享将和大家一起讨论基于副本解耦的分布式键值系统的设计实现方案，并探讨未来的推广应用。
沉浸式学习PostgreSQL|PolarDB 21，相似图像搜索
传统数据库不支持图像类型, 图像相似计算函数, 图像相似计算操作服, 相似排序操作符. 所以遇到类似的需求, 需要自行编写应用来解决.
PG|PolarDB 通过imgsmlr插件, 可以将图像转换为向量特征值, 使用相似距离计算函数得到相似值, 使用索引加速相似度排序, 快速获得相似图片, 实现以图搜图.
也可以通过pgvector插件来存储图片向量特征值, 结合大模型服务(抠图、图像向量转换), 可以实现从图像转换、基于图像的相似向量检索全流程能力.
PG内核解读 - 第3节 存储管理（上）
本文整理自阿里云数据库开源社区Maintainer于巍（花名漠雪），在PostgreSQL数据库内核解读系列的分享。本篇内容主要分为四个部分：
1. 主流存储引擎架构和原理
2. 页面和元组
3. Buffer管理
4. 淘汰算法
第九届PostgreSQL中国技术大会
2019年11月29～11月30日，由 PostgreSQL 中文社区主办的第九届《PostgreSQL 中国技术大会》将在北京隆重召开。PostgreSQL 作为功能最强的的开源关系型数据库之一，得到了越来越多企业的推广和运用，也越来越受到广大技术爱好者的欢迎和重视。这将是 PostgreSQL 的又一次交流盛会。本次大会以“开源驱动 自主研发”为主题。除了设立一个主会场外，还增设了多个分会场。大会汇聚了来自互联网、电商、教育，金融等各行业领域的专家，将为大家带来一场别开生面而又价值非凡的技术交流盛会。大会议程嘉宾介绍更多信息PostgreSQL 技术进阶钉钉群二维码（扫码入群即可听德哥在线解答）<img src="https://yqfile.alicdn.com/42fdf47ac7e15027b88bdde47787a3d7f31ccf6a.jpeg" width="200"