2024-05-15
212

PolarDB-X用15M内存跑1G的TPCH

在数据时代,过多耗内存的大查询都有可能压垮整个集群,所以其内存管理模块在整个系统中扮演着非常重要的角色。而PolarDB-X 作为一款分布式数据库,其面对的数据可能从TB到GB字节不等,同时又要支持TP和AP Workload,要是在计算过程中内存使用不当,不仅会造成TP和AP相互影响,严重拖慢响应时间,甚至会出现内存雪崩、OOM问题,导致数据库服务不可用。CPU和MEMORY相对于网络带宽比较昂贵,所以PolarDB-X 代价模型中,一般不会将涉及到大量数据又比较耗内存的计算下推到存储DN,DN层一般不会有比较耗内存的计算。这样还有一个好处,当查询性能低的时候,无状态的CN节点做弹性扩容代价相对于DN也低。鉴于此,所以本文主要对PolarDB-X计算层的内存管理进行分析,这有助于大家有PolarDB-X有更深入的理解。

212
2024-05-15
128

AnalyticDB PostgreSQL基于DMS数据ETL链路开发

PostgreSQL数据库目前被广泛应用于企业的在线业务,这款数据库以其高度的稳定性和完善的产品能力被业界高度赞誉和广泛接受。 本文介绍了两款PostgreSQL引擎的数据库是如何完成一套标准的数据链路同步,开发并让企业可以同时享受PostgreSQL在OLTP & OLAP的场景下的全面能力。

128
2024-05-15
143

基于Docker搭建halo博客

实例安装Ubuntu20.04系统,通过MobaXterm远程连接ECS,同时通过安装宝塔面板和部署LNMP环境,基于Docker搭建了halo博客应用。

2024-05-15
108

技术分享系列-如何实现一个 Paxos

Paxos 作为一个经典的分布式一致性算法(Consensus Algorithm),在各种教材中也被当做范例来讲解。但由于其抽象性,很少有人基于朴素 Paxos 开发一致性库,本文介绍的实现代码参考了 RAFT 中的概念以及 phxpaxos 的实现和架构设计,实现 multi-paxos 算法,主要针对线程安全和模块抽象进行强化,网络、成员管理、日志、快照、存储以接口形式接入,算法设计为事件驱动,仅包含头文件,便于移植和扩展。

108
2024-05-15
128

企业SaaS应用加速网络场景最佳实践

企业分支通过SAG接入阿里云SDWAN网络,企业本地员工能够通过阿里云SDWAN应用加速线路实现加速访问SaaS服务,目前方案只支持office365、salesforce、ZOOM,后续会考虑加速逐步增加其他三方应用。

128
2024-05-15
130

ADBPG优化基础(二)SQL优化

承接上一篇,这次跟大家分享一些与SQL优化相关的经验,希望能够帮助大家了解如果更有效率的使用ADBPG数据库。ADBPG数据库使用基于成本(cost-based)的优化器,像其他的数据库一样,在生成计划时会考虑联接表行数、索引、相关字段基数等因素,除此之外,优化器还会考虑数据所在的segment节点...

130
2024-05-15
102

一站式动态多环境建设案例

本文介绍了致景科技使用MSE全链路灰度的最佳实践。

102
2024-05-15
152

Kubernetes 文件采集实践:Sidecar + hostPath 卷

在Kubernetes 日志查询分析实践中,我们介绍了如何通过 DaemonSet 方式部署 logtail 并采集标准输出/文件两种形式的数据。DaemonSet 部署的优势在于其能够尽可能地减少采集 agent 所占用的资源且支持标准输出采集,但因为每个 DaemonSet pod 需要负责 n...

152
2024-05-15
142

PolarDB 开源版 通过rdkit 支撑生物、化学分子结构数据存储与计算、分析

背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍PolarDB 开源版 通过rdkit 支撑生物、化学分子结构数据存储与计...

142
1
...
21
22
23
...
26
到第
22/26