Feed流系统设计-总纲
简介
差不多十年前,随着功能机的淘汰和智能机的普及,互联网开始进入移动互联网时代,最具代表性的产品就是微博、微信,以及后来的今日头条、快手等。这些移动化联网时代的新产品在过去几年间借着智能手机的风高速成长。
PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错