半自动化运维之动态添加数据文件（一)

在测试环境中，服务器和数据库实例真是多得数不胜数，自己也没有下意识去记住那个数据库实例在哪个服务器上，都是出了问题直接连过去解决。
这么多的数据库实例需要管理，表空间的监控是极为重要的，一般来说都会在给表空间设定一个阀值，比如说表空间剩余10%，20%等等，超出了阀值就会自动发送邮件，提醒DBA去做相应的处理，表空间监控如此，文件系统监控也是类似的思路。
最近处理了一些紧急的问题，看似是很小的问题，但是比较折腾人，比如说表空间超出了阀值，就会发送警告邮件，这个时候DBA就会连过去，处理问题的思路就是添加数据文件，这个时候就得考虑文件系统的空间情况。
比如有下面10个挂载点。
/u01,/u02,/u03....., /u10， 数据文件被打散分布在这几个挂载点上，如果对于数据文件的位置没有严格的要求，就是希望把数据文件分散分布，这个时候处理的思路就是使用df -k来得到对应的挂载点信息，然后在其中选择一个合适的，创建数据文件，仅此而已。
但是这个过程如果细细来看，确实是没有太多技术含量的，而且手动处理液不够及时，能不能发送了警告邮件，然后在数据库层面创建数据文件，可以在DBA稍后进行验证，这样问题处理也很及时，也不用DBA来总是手工处理这种看似紧急的问题。这也就是我为什么说是半自动化运维的一个思路。
解释了一通，来个图看看可能就更清楚了。
下面就是一些挂载点，在不同的服务器上会有所不同，在监控的时候如果需要添加数据文件，就需要尽量把数据文件分散到这些挂载点上，可以使用hash或者random的方式。

当然要实现也是看起来容易，做起来难。
先来看看表空间监控的部分，我们先来看看表空间监控的部分是怎么写的，在后续的章节补充是怎么添加数据文件的。
这个脚本依赖于一个配置文件。就是需要提供数据库实例名和主机名，像下面的形式，数据库TEST11G在主机oel1上。
$ cat master_sid.lst
TEST11G oel1
DG11G oel1


LOG_DIR=/home/ora11g/logs
DAY=`date +%d-%m-%Y:%H:%M" CST"`
HOST=`hostname`
SCRIPTNAME=free_tbs_alert.ksh
SCR_DIR=/home/ora11g/sid_list      --配置文件的路径
TARGET_CONN=n1/n1
export PATH=$ORACLE_SID/bin:$PATH
cp /dev/null $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace
cp /dev/null $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace.new
cp /dev/null $LOG_DIR/${1}_${SCRIPTNAME}_tablespace.alert

##MAIN
for SID in ` cat $SCR_DIR/master_sid.lst |grep -v "^\#"|awk '{print $1}'`
do
_hst=`grep -iw $SID $SCR_DIR/master_sid.lst |grep -v "^\#"|awk '{ print $2}'`


#if [ `grep -iw $_hst $SCR_DIR/maint_hosts| wc -l ` -eq 0 ]
#then
$ORACLE_HOME/bin/sqlplus -s /nolog conn  ${TARGET_CONN}@$SID
set feed off head off 
set linesize 65
set pagesize 0
col TABLESPACE_NAME format a15
col "USED (MB)" format a12
col "FREE (MB)" format a10
col "PER_FREE (MB)" format a17
col "TOTAL (MB)" format a12
spool $LOG_DIR/${1}_${SCRIPTNAME}_tablespace.alert
SELECT F.TABLESPACE_NAME,
TO_CHAR ((T.TOTAL_SPACE - F.FREE_SPACE),'999999') "USED (MB)",
TO_CHAR (F.FREE_SPACE, '999999') "FREE (MB)",
TO_CHAR (T.TOTAL_SPACE, '999999') "TOTAL (MB)",
TO_CHAR ((ROUND ((F.FREE_SPACE/T.TOTAL_SPACE)*100)),'999')||' %' PER_FREE
FROM (SELECT TABLESPACE_NAME,
ROUND (SUM (BLOCKS*(SELECT VALUE/1024 FROM V\$PARAMETER
WHERE NAME = 'db_block_size')/1024)) FREE_SPACE
FROM DBA_FREE_SPACE
GROUP BY TABLESPACE_NAME) F,
(SELECT TABLESPACE_NAME,
ROUND (SUM (BYTES/1048576)) TOTAL_SPACE
FROM DBA_DATA_FILES
GROUP BY TABLESPACE_NAME) T
WHERE F.TABLESPACE_NAME = T.TABLESPACE_NAME
AND (ROUND ((F.FREE_SPACE/T.TOTAL_SPACE)*100)) spool off
/
prompt
exit
EOF
#fi

HOST1=`$ORACLE_HOME/bin/tnsping $SID | tr -d " "|tr 'A-Z' 'a-z'|grep host |awk -F "host=" ' { print $2} '| awk -F ")" '{ print $1}'`

if [[ `cat $LOG_DIR/${1}_${SCRIPTNAME}_tablespace.alert|wc -l` -gt 0 && `grep ORA- $LOG_DIR/${1}_${SCRIPTNAME}_tablespace.alert|wc -l` -lt 1 ]]
then
cp /dev/null $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp
grep "%" $LOG_DIR/${1}_${SCRIPTNAME}_tablespace.alert|awk '{ print $3}'|sort|
while read _freeMB
do
if [[ $_freeMB -lt 2048 ]]
then
grep "%" $LOG_DIR/${1}_${SCRIPTNAME}_tablespace.alert|grep -w $_freeMB >> $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp
fi
done


cp /dev/null $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp1
#if [ `cat $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp |wc -l ` -gt 0 ]
if [ `cat $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp |grep -iv "UNDO" |wc -l ` -gt 0 ]
then 
echo "DB Name: $SID          Host: $HOST1" >> $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp1
cat $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp|sort -u >> $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp1
cat $LOG_DIR/${1}_${SCRIPTNAME}_free_tablespace.tmp1|sed "/^$/ d;" >>$LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace
echo "=============================================================" >>$LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace
fi
fi
done

echo "TABLESPACE_NAME USED (MB)    FREE (MB)  TOTAL (MB)   PER_FR      
--------------- ------------ ---------- ------------ ------      
" >> $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace.new
cat $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace >> $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace.new
echo "DBA Team"| tee -a $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace.new
echo "Script Location on $HOST ${SCR_DIR}/${SCRIPTNAME}" | tee -a $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace.new

if [ `cat $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace|wc -l` -gt 2 ]
then
cat $LOG_DIR/${1}_${SCRIPTNAME}_final_report_free_tablespace.new
echo 'need to notify jianrong to help ' 
mailx -s "$1  : fi
整个过程就完成了表空间的监控，当然是一个初步的脚本还有一些不严谨的地方。
这个时候我们需要继续完成操作系统级的监控，这个监控是有一定的范围的。
我们可以先从得到数据库中数据文件的格式。
conn_str=n1/n1
print "
conn  $conn_str
set feedback off
set pages 0
 select file_name from dba_data_files;
" |sqlplus -s /nolog |awk -F"/" '{print   "/"$2}'|sort|uniq|awk '{print "df -k |grep -i \""$1 "\""}' > df_k_chk_tmp.ksh

比如数据文件为 /u02/ora11g/oradata/TEST11G/sysaux01.dbf 我们需要得到挂载点，即 /u02，其他的数据文件，挂载点可能是 /u03,/u04....
然后使用df -k来查看这些挂载点的空间使用情况，这个地方我是使用 awk '{print "df -k |grep -i \""$1 "\""}' > df_k_chk_tmp.ksh来直接生成对应的df -k的脚本。

这个时候比如还是有10个挂载点，我们需要添加文件，比如说需要添加2G的文件，这个时候就需要在这些挂载点中进行校验，首先大小要超过2G的挂载点才可以考虑。
然后对输出的结果进行过滤。这里有一个问题是在Unix和linux下使用df -k的时候，输出可能会有一些不同。
版本1：
/dev/sda3             30969600  24844420   4552016  85% /u02
版本2：
                          30969600  24844420   4552016  85% /u02
这个时候可以根据要求反向得到最后三列的值，作为我们分析的基础。
这个部分使用一个函数即可搞定，假设我们生成的动态df -k的脚本为 df_k_chk_tmp.ksh 需要添加的数据文件大小为800M，可以这么过滤。
function get_db_file_mount
{
ksh  $1 | awk -v file_size=$2 'NR>=1{ if($(NF-2)-$file_size>0) print $(NF-2),$(NF-1),$NF}' |sort
}
get_db_file_mount df_k_chk_tmp.ksh 8100000 > tmp_FS_mount

接下来的部分就是如何做hash或者random分布了，怎么尽量把数据文件分散出去，选择一个可用的挂载点。咱们可以定义一个random函数。


function get_random
{
    min=$1;
    max=$2
    num=$(date +%s+%N);
    ((retnum=num%max+min));
    echo $retnum;    
}

通过下面的代码进行过滤，能够随机抓取到一个合适的挂载点。
tmp_FS_mount_cnt=`cat tmp_FS_mount|wc -l`
echo $tmp_FS_mount_cnt
tmp_random=`get_random 1 ${tmp_FS_mount_cnt}`
echo $tmp_random
cat  tmp_FS_mount|sed -n "${tmp_random}p"|awk '{print $3}'

接下来的事情就是生成数据文件的部分了。明天继续。