2024-05-15
211

PolarDB-X用15M内存跑1G的TPCH

在数据时代,过多耗内存的大查询都有可能压垮整个集群,所以其内存管理模块在整个系统中扮演着非常重要的角色。而PolarDB-X 作为一款分布式数据库,其面对的数据可能从TB到GB字节不等,同时又要支持TP和AP Workload,要是在计算过程中内存使用不当,不仅会造成TP和AP相互影响,严重拖慢响应时间,甚至会出现内存雪崩、OOM问题,导致数据库服务不可用。CPU和MEMORY相对于网络带宽比较昂贵,所以PolarDB-X 代价模型中,一般不会将涉及到大量数据又比较耗内存的计算下推到存储DN,DN层一般不会有比较耗内存的计算。这样还有一个好处,当查询性能低的时候,无状态的CN节点做弹性扩容代价相对于DN也低。鉴于此,所以本文主要对PolarDB-X计算层的内存管理进行分析,这有助于大家有PolarDB-X有更深入的理解。

211
2024-05-15
162

真·异地多活架构的实现用PolarDB-X

今天我们这篇文章重点来说一下,对于一个分布式数据库,在异地多活架构中,起到了一个什么样的角色;对于其中的问题,解法是什么。

162
2024-05-15
143

PolarDB 开源版 使用PostGIS 数据寻龙点穴(空间聚集分析)- 大数据与GIS分析解决线下店铺选址问题

背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍PolarDB 开源版 使用PostGIS 数据寻龙点穴(空间聚集分析)-...

143
2024-05-15
217

使用智能媒体生产ICE剪辑OSS视频文件

本篇介绍智能媒体生产ICE一些常见场景,如裁剪、拼接、字幕、ASR等,通过一些时间线示例,介绍如何快速剪辑OSS上的视频文件。

217
2024-05-15
93

基于日志服务实现PolarDB秒级监控告警实践

数据复用场景。SLS统一平台利用一份数据发掘出多个use case,让数据发挥其最大价值。

93
2024-05-15
152

Kubernetes 文件采集实践:Sidecar + hostPath 卷

在Kubernetes 日志查询分析实践中,我们介绍了如何通过 DaemonSet 方式部署 logtail 并采集标准输出/文件两种形式的数据。DaemonSet 部署的优势在于其能够尽可能地减少采集 agent 所占用的资源且支持标准输出采集,但因为每个 DaemonSet pod 需要负责 n...

152
2024-05-15
142

PolarDB 开源版 通过rdkit 支撑生物、化学分子结构数据存储与计算、分析

背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍PolarDB 开源版 通过rdkit 支撑生物、化学分子结构数据存储与计...

142
2024-05-15
99

使用 PolarDB 开源版 bloom filter index 实现任意字段组合条件过滤

背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍使用 PolarDB 开源版 bloom filter index 实现任...

99
2024-05-15
136

打造一个高可用多租户的企业级Maven私有仓库服务

本文讨论了构建高可用多租户企业级Maven私有仓库服务的必要性,指出传统Nexus和Artifactory开源版缺乏高可用性,商业版虽支持但成本高、扩展性有限。理想的解决方案应包含无状态节点、使用云存储(如阿里云OSS)和集群化的数据库与Elasticsearch。

136
1
...
19
20
21
...
25
到第
20/25