一次 group by + order by 性能优化分析
我的个人博客 https://mengkang.net/1302.html
最近通过一个日志表做排行的时候发现特别卡,最后问题得到了解决,梳理一些索引和MySQL执行过程的经验,但是最后还是有5个谜题没解开,希望大家帮忙解答下
主要包含如下知识点
用数据说话证明慢日志的扫描行数到底是如何统计出来的
从 group by 执行原理找出优化方案
排序的实现细节
gdb 源码调试
背景
需要分别统计本月、本周被访问的文章的 TOP10。
Grafana中文版本
grafana-chinese
tags: GitHub grafana
Grafana中文汉化版本
GitHub:https://github.com/WangHL0927/grafana-chinese
作者:whl
email:w958660278@163.com
个人网站:https://wanghualong.cn
当前Grafana版本
Grafana v5.2.1 (commit: 2040f61)
使用教程
使用前请确认Grafana版本是否一致,Grafana版本更新方法请参考官网教程。
[ETL实践指南]基于Kettle的MaxCompute插件实现数据上云
本文用到的
阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps
简介
Kettle是一款开源的ETL工具,纯java实现,可以运行于Windows, Unix, Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑。
MySQL · 性能优化 · MySQL常见SQL错误用法
前言
MySQL在2016年仍然保持强劲的数据库流行度增长趋势。越来越多的客户将自己的应用建立在MySQL数据库之上,甚至是从Oracle迁移到MySQL上来。但也存在部分客户在使用MySQL数据库的过程中遇到一些比如响应时间慢,CPU打满等情况。阿里云RDS专家服务团队帮助云上客户解决过很多紧急问题。现将《ApsaraDB专家诊断报告》中出现的部分常见SQL问题总结如下,供大家参考。
常见S
gh-ost:不一样的在线表结构变更
MySQL的大表表结构变更一直都是个麻烦事,为了尽量不影响业务,业内常用方案大概是pt-osc工具,或者主备滚动发布,或者自实现脚本。而gh-ost的出现,引入了一个全新的方案,在数据迁移和新旧表切换上做了优秀的设计。
MySQL 大表优化方案,收藏了细看!
当 MySQL 单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化。
单表优化
除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。