PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错
Buffer_Management
PolarDB的实现是基于共享存储的一写多读架构,主备使用共享存储中的一份数据。读写节点,也称为主节点或Primary节点,可以读写共享存储中的数据;只读节点,也称为备节点或Replica节点,仅能各自通过回放日志,从共享存储中读取数据,而不能写入。
高效易用的数据同步:阿里云瑶池 Zero-ETL服务来啦!
在大数据时代,企业有着大量分散在不同系统和平台上的业务数据。OLTP数据库不擅长复杂数据查询,不具备全局分析视角等能力,而OLAP数据仓库擅长多表join,可实现多源汇集,因此需要将TP数据库的数据同步到AP数据仓库进行分析处理。传统的ETL流程面临资源成本高、系统复杂度增加、数据实时性降低等挑战。为了解决这些问题,阿里云瑶池数据库提供了Zero-ETL服务,可以快速构建业务系统(OLTP)和数据仓库(OLAP)之间的数据同步链路,将业务系统的数据自动进行提取并加载到数据仓库,从而一站式完成数据同步和管理,实现事务处理和数据分析一体化,帮助客户专注于数据分析业务。
云原生时代下的国产开源数据库是如何实现更多的技术创新和突破?听听他们怎么说
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开,来自PG中文社区、阿里云PolarDB、蚂蚁集团、OceanBase等专家大咖全方位解读了国产数据库核心技术与架构、时下成熟的解决方案及最佳实践,并与高校、伙伴探讨了如何推动产教结合,加快国产数据库核心人才培养。近百位业内专家与开源技术爱好者、资深开发者们齐聚一堂,共话开源数据库技术与人才培养。
【邀请函】你有一个与李飞飞对话的机会!
「开源人说」为阿里云开发者社区与InfoQ 联合出品的一档精品开源视频栏目。栏目围绕四大开源领域:云原生、操作系统、数据库、大数据&AI,介绍优秀的开源软件背后的故事,记录传播技术人追求极致和开放共享的精神。
第三期数据库PolarDB线下专场沙龙现免费开放报名入口!名额有限,你与数据库大佬零距离互动交流的机会不容错过哦!
【Paper Reading】DEPART:分布式KV存储系统的副本解耦方案
基于LSM-tree的键值存储系统是
NewSQL/NoSQL产品中最常用的底层存储方案,对其进行研究具有重要意义与应用价值。论文针对 分布式键值系统首次提出了副本解耦的思想,在多副本容错机制下能够实现副本数据的高效管理,从而显著提升系统性能。并且论文提出的技术可以应用到Cassandra、TiKV、ScyllaDB等系统中。本次分享将和大家一起讨论基于副本解耦的分布式键值系统的设计实现方案,并探讨未来的推广应用。
沉浸式学习PostgreSQL|PolarDB 4: 跨境电商场景, 快速判断商标|品牌侵权
很多业务场景中需要判断商标侵权, 避免纠纷. 例如
电商的商品文字描述、图片描述中可能有侵权内容. 特别是跨境电商, 在一些国家侵权查处非常严厉.
注册公司名、产品名时可能侵权.
在写文章时, 文章的文字内容、视频内容、图片内容中的描述可能侵权.
例如postgresql是个商标, 如果你使用posthellogresql、postgresqlabc也可能算侵权.
以跨境电商为力, 为了避免侵权, 在发布内容时需要商品描述中出现的品牌名、产品名等是否与已有的商标库有相似.
对于跨境电商场景, 由于店铺和用户众多, 商品的修改、发布是比较高频的操作, 所以需要实现高性能的字符串相似匹配功能.