分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37851内容
|
3小时前
|
XXLJOB:超长定时任务慢节点优化实践
本文针对ODPS大宽表任务耗时严重问题,通过定位卡点、资源调优与数据倾斜处理实现快速止血,并深入梳理代码结构,发现计算堆积、动态倾斜及回刷成本高等问题。最终提出视图落表、前置裁剪、分布式MapJoin优化及节点拆分等方案,将产出时间从13:00提前至8:30,提升效率4小时以上,显著降低资源消耗与维护成本。
|
3小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,助力用户实时掌握SQL使用情况,识别异常、优化性能,提升日志数据分析效率与治理水平。
|
4小时前
|
如何生成大于内存容量的倒排索引?
将大规模文档分块,在内存中为每块构建倒排索引并写入磁盘临时文件,再通过多路归并合并有序临时文件,生成全局有序的倒排索引。该过程类似MapReduce思想,可分布式处理,高效构建超大倒排索引。
|
4小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,帮助用户全面掌握SQL使用情况,精准识别性能瓶颈与无效请求,提升日志分析效率与资源管理水平。
|
4小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,帮助用户全面掌握SQL使用情况,实现精细化管理与性能优化,提升日志分析效率与体验。
|
13小时前
| |
别让大数据“全表扫描”掏空你:数据分区策略与分区裁剪的实战心经
别让大数据“全表扫描”掏空你:数据分区策略与分区裁剪的实战心经
|
19小时前
| |
来自: 数据库
较 Trino 省 67% 成本,速度快 10 倍,中通快递基于 SelectDB 的湖仓分析架构
中通快递基于 SelectDB 构建了湖仓分析架构,补齐 OLAP 分析能力。在离线场景中,实现 2000+ QPS 并发点查;在实时场景中,仅以 1/3 原集群机器数量覆盖所有业务,90% 分析任务从 10 分钟缩短至 1 分钟内,投入产出比大幅提升。
|
19小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,助力用户全面掌握SQL使用情况,识别异常、优化性能,提升日志分析效率与资源管理能力。
|
20小时前
|
08 | 索引构建:搜索引擎如何为万亿级别网站生成索引?
针对超大规模数据场景,如搜索引擎需处理万亿级网页,倒排索引远超内存容量。解决方案是:先将文档分批,在内存中为每批构建小型倒排索引,再写入磁盘生成有序临时文件;最后通过多路归并技术合并临时文件,生成全局有序的最终倒排文件。此过程类似MapReduce思想,支持分布式加速。检索时,优先将词典加载至内存(可用哈希表或B+树),结合磁盘上的posting list进行高效查询,对过长的列表可采用分层索引或缓存优化。
|
20小时前
|
如何做好SQL质量监控
SLS推出SQL质量监控功能,集成于CloudLens for SLS,助力用户从健康分、服务指标、运行明细、SQL Pattern及优化建议五大维度,全面掌握SQL使用情况,提升查询效率与资源治理能力。
免费试用