南大通用GBase 8a MPP Cluster Linux端SQL进程监控工具

简介: 南大通用GBase 8a MPP Cluster Linux端SQL进程监控工具

设计背景

在linux端,GBase 8a由于缺少对sql进程的有效监控和跟踪,致使维护工作不便。本工具的设计宗旨即解决该类维护问题。

设计目的

(1) 实时监控集群所有节点上sql任务并发执行情况

(2) 监控信息可压缩存档,便于追溯

(3) 监控范围可调节

(4) 监控信息含有分类统计功能

(5) 监控信息按照详细和简单分类,简单用于排查问题,详细用于追溯

工具说明

(1)该脚本用于记录和实时监控数据库中正在执行的sql,包括sql的执行时间,执行状态,sql下发源头等信息。

(2)使用前赋予可执行权限。如: chmod +x always.sh    chmod +x gcluster_process.sh

(3)该脚本只部署在集群主节点上(集群层)即可。

(4)用gbase用户新建目录 /opt/gbasetools/always

(5)将gcluster_process.sh,always.sh脚本和node_ip.list文件放在该目录下,在gcluster_process.sh脚本中修改登陆集群的用户和口令。

  在node_ip.list中存放coor节点ip; 将always.sh 挂在后台执行即可: sh always.sh &

(6)脚本正常会生成 always_result.txt和always_result.txt.full两个文件。full中存放着完整的sql,便于追溯,不带full的日志尾部有sql截断

  便于运维监控时使用。日常运维时直接tail -f always_result.txt即可,可作为日常运维集群的监控页面使用。

(7)显示结果中区分加载、非加载、普通sql的分类统计

(8)文件大小超过50万行或500MB会自动打包归档,并形成新的文件

工具详情

always.sh内容如下

#!/bin/bash
while [ 1 ]
do
echo "  `date +%F.%T`########################################################################################################" >> always_result.txt
sh gcluster_process.sh | grep -v Sleep | grep -v "show full processlist"  > tmp.gcluster_p.log
# catch full processlist log
echo " `date +%F.%T`########################################################################################################"  >> always_result.txt.full
cat tmp.gcluster_p.log | grep -viE 'Info$|event_scheduler.*Waiting for next activation' |sort -k 8,8nr >> always_result.txt.full
cat tmp.gcluster_p.log| grep -v Info |sed s/"checking permissions"/" "/g | awk '{print $1,$2,$3,$8,$9,$10,$11,$12,substr($13,1,500),substr($14,1,500),$15,$16,$17,$18}' |sort -k 5,5nr >> always_result.txt
echo non-load process number: `grep -v 'processlist' tmp.gcluster_p.log |grep -viE 'LOAD DATA INFILE' | grep -v Host | wc -l`  >> always_result.txt
echo load process number: `grep -iE 'LOAD DATA INFILE' tmp.gcluster_p.log| wc -l`  >> always_result.txt
echo sql-stmt number: `grep -iE 'insert|delete|select|update|drop|create' tmp.gcluster_p.log|grep -v 'LOAD DATA INFILE'| wc -l`  >> always_result.txt
sleep 10
if [ `cat always_result.txt|wc -l` -gt 500000 ] || [ `du -sk always_result.txt.full | awk '{print $1}'` -gt 500000 ] ;then
        tar cvfz  `pwd`/logbakup/always_result_`date +%F.%H%M%S`.tar.gz always_result.txt
        tar cvfz  `pwd`/logbakup/always_result_full_`date +%F.%H%M%S`.tar.gz always_result.txt.full
        echo >always_result.txt
        echo >always_result.txt.full
fi
done

gcluster_process.sh内容如下:

#!/bin/bash
. /home/gbase/.gbase_profile
cmd="$GCLUSTER_HOME/bin/gbase -ugbase -pgbase20110531"
while read node_ip
do
        $cmd -h $node_ip -P5258 -e "show full processlist" |sed 's/\\n/ /g'|sed 's/\\t/ /g'| while read line
        do
                dtime=`date +%Y-%m-%d' '%H:%M:%S`
                echo "#$dtime#HOST:$node_ip---------" "$line"
        done
done<node_ip.list

node_ip.list 内容如下:

192.168.56.101
192.168.56.102

 

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
JavaScript 前端开发 Docker
如何通过pm2以cluster模式多进程部署next.js(包括docker下的部署)
通过这些步骤,可以确保您的Next.js应用在多核服务器上高效运行,并且在Docker环境中实现高效的容器化管理。
1814 44
|
SQL 存储 BI
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
SQL 数据库
gbase 8a 数据库 shm满导致gclusterd进程异常
gbase 8a 数据库 shm满导致gclusterd进程异常
|
Linux 数据库 数据安全/隐私保护
|
SQL 存储 数据处理
深入探索GBase 8a MPP集群的C-API开发接口
【8月更文挑战第20天】
422 2
|
SQL 自然语言处理 网络协议
【Linux开发实战指南】基于TCP、进程数据结构与SQL数据库:构建在线云词典系统(含注册、登录、查询、历史记录管理功能及源码分享)
TCP(Transmission Control Protocol)连接是互联网上最常用的一种面向连接、可靠的、基于字节流的传输层通信协议。建立TCP连接需要经过著名的“三次握手”过程: 1. SYN(同步序列编号):客户端发送一个SYN包给服务器,并进入SYN_SEND状态,等待服务器确认。 2. SYN-ACK:服务器收到SYN包后,回应一个SYN-ACK(SYN+ACKnowledgment)包,告诉客户端其接收到了请求,并同意建立连接,此时服务器进入SYN_RECV状态。 3. ACK(确认字符):客户端收到服务器的SYN-ACK包后,发送一个ACK包给服务器,确认收到了服务器的确
663 1
|
SQL Cloud Native 关系型数据库
云原生数据仓库AnalyticDB操作报错合集之执行sql的进程报错:"unknown connection id",是什么导致的
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
1148 3
|
SQL 监控 安全
在Linux中,如何检测和防止SQL注入和跨站脚本(XSS)攻击?
在Linux中,如何检测和防止SQL注入和跨站脚本(XSS)攻击?
|
存储 Linux API
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
在计算机系统的底层架构中,操作系统肩负着资源管理与任务调度的重任。当我们启动各类应用程序时,其背后复杂的运作机制便悄然展开。程序,作为静态的指令集合,如何在系统中实现动态执行?本文带你一探究竟!
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”

热门文章

最新文章