分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37849内容
|
4小时前
|
XXLJOB:超长定时任务慢节点优化实践
针对ODPS大宽表任务耗时问题,通过定位慢节点、资源调优与数据倾斜处理实现快速止血;进一步梳理代码链路,提出视图落表、前置裁剪、中表关联等优化方案,拆分节点并降低回刷成本。最终产出时间从13:00提早至8:30,提升效率4小时以上,显著降低计算堆积与资源消耗。
|
16小时前
|
XXLJOB:超长定时任务慢节点优化实践
本文针对ODPS大宽表任务耗时严重问题,通过定位卡点、资源调优与数据倾斜处理实现快速止血,并深入梳理代码结构,发现计算堆积、动态倾斜及回刷成本高等问题。最终提出视图落表、前置裁剪、分布式MapJoin优化及节点拆分等方案,将产出时间从13:00提前至8:30,提升效率4小时以上,显著降低资源消耗与维护成本。
|
17小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,助力用户实时掌握SQL使用情况,识别异常、优化性能,提升日志数据分析效率与治理水平。
|
17小时前
|
如何生成大于内存容量的倒排索引?
将大规模文档分块,在内存中为每块构建倒排索引并写入磁盘临时文件,再通过多路归并合并有序临时文件,生成全局有序的倒排索引。该过程类似MapReduce思想,可分布式处理,高效构建超大倒排索引。
|
17小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,帮助用户全面掌握SQL使用情况,精准识别性能瓶颈与无效请求,提升日志分析效率与资源管理水平。
|
17小时前
|
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,帮助用户全面掌握SQL使用情况,实现精细化管理与性能优化,提升日志分析效率与体验。
别让大数据“全表扫描”掏空你:数据分区策略与分区裁剪的实战心经
别让大数据“全表扫描”掏空你:数据分区策略与分区裁剪的实战心经
|
1天前
| |
来自: 数据库
较 Trino 省 67% 成本,速度快 10 倍,中通快递基于 SelectDB 的湖仓分析架构
中通快递基于 SelectDB 构建了湖仓分析架构,补齐 OLAP 分析能力。在离线场景中,实现 2000+ QPS 并发点查;在实时场景中,仅以 1/3 原集群机器数量覆盖所有业务,90% 分析任务从 10 分钟缩短至 1 分钟内,投入产出比大幅提升。
如何做好SQL质量监控
SLS推出用户级SQL质量监控功能,集成于CloudLens for SLS,提供健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,助力用户全面掌握SQL使用情况,识别异常、优化性能,提升日志分析效率与资源管理能力。
免费试用