PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错