PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错
LogIndex
PolarDB采用了共享存储一写多读架构，读写节点RW和多个只读节点RO共享同一份存储，读写节点可以读写共享存储中的数据；只读节点仅能各自通过回放日志，从共享存储中读取数据，而不能写入，只读节点RO通过内存同步来维护数据的一致性。
Curve 块存储实践 _ 十分钟带你体验高性能云原生数据库PolarDB
Curve 块存储是云原生计算基金会 (CNCF) Sandbox 项目，是网易自研和开源的高性能、易运维、云原生的分布式存储系统。而 PolarDB File System （PFS）是由阿里云自主研发的高性能类 POSIX 的用户态分布式文件系统，服务于阿里云数据库 PolarDB 产品。通过本文的介绍，大家可以快速部署一套 PolarDB+PFS+CurveBS 的云原生数据库，并在 PFS 上编译部署 PolarDB 。
云原生时代下的国产开源数据库是如何实现更多的技术创新和突破？听听他们怎么说
大咖云集，燃爆夏日。8月5日，由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开，来自PG中文社区、阿里云PolarDB、蚂蚁集团、OceanBase等专家大咖全方位解读了国产数据库核心技术与架构、时下成熟的解决方案及最佳实践，并与高校、伙伴探讨了如何推动产教结合，加快国产数据库核心人才培养。近百位业内专家与开源技术爱好者、资深开发者们齐聚一堂，共话开源数据库技术与人才培养。
