Linux/Unix shell 自动 FTP 备份档案

简介:        使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担,如常见的对实例的监控,监听的监控,告警日志的监控,以及数据库的备份,AWR report的自动邮件等。

       使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担,如常见的对实例的监控,监听的监控,告警日志的监控,以及数据库的备份,AWR report的自动邮件等。本文给出Linux 下使用 shell 脚本来实现自动FTP备份档案。

       Linux Shell以及导入导出的相关参考:
        Linux/Unix shell 脚本中调用SQL,RMAN脚本
        Linux/Unix shell sql 之间传递变量
        Linux/Unix shell 调用 PL/SQL
        Linux/Unix shell 监控Oracle实例(monitor instance)
        Linux/Unix shell 监控Oracle监听器(monitor listener)
        Linux/Unix shell 监控Oracle告警日志(monitor alter log file)
        数据泵 EXPDP 导出工具的使用
        数据泵IMPDP 导入工具的使用
        导入导出 Oracle 分区表数据
        expdp impdp中 exclude/include 的使用
        使用 Oracle Datapump API 实现数据导出

 

1、Linux/Unix shell 自动 FTP 脚本

robin@SZDB:~/dba_scripts/custom/bin> more auto_ftp_dump.sh
# +---------------------------------------------------+
# +    Filename: ftp_dump_auto.sh                     |
# +    Desc: Ftp the dump file automatically          |
# +    Usage:                                         |
# +            ./auto_ftp_dump.sh $ORACLE_SID         |
# +    Author: Robinson                               |
# +    Blog  : http://blog.csdn.net.robinson_0612     |
# +---------------------------------------------------+
#
#!/bin/bash
#
# -----------------------------
#  Define environment variable
# -----------------------------
#

if [ -f ~/.bash_profile ];
then
. ~/.bash_profile
fi

# --------------------------
#   Check SID
# --------------------------

if [ -z "${1}" ];then
    echo "Usage: "
    echo "      `basename $0` ORACLE_SID"
    exit 1
fi

ORACLE_SID=${1};       export ORACLE_SID
TARGET_SID=SY0755BK
TIMESTAMP=`date +%Y%m%d%H%M`;
DT=`date +%Y%m%d`;
RETENTION=1

DUMP_DIR=/u01/oracle/admin/SY0755/BNR/dump
DUMP_FILE=${DUMP_DIR}/EXP_${ORACLE_SID}_${DT}.dmp
LAST_EXP_DUMP_LOG=${DUMP_DIR}/EXP_${ORACLE_SID}_${DT}.log

FTP_LOG=${DUMP_DIR}/ftp_${ORACLE_SID}_${TIMESTAMP}.log
FTP_ERR_LOG=${DUMP_DIR}/ftp_${ORACLE_SID}_${TIMESTAMP}_err.log

date >>${FTP_LOG}
echo "FTP source : ${ORACLE_SID}" >>${FTP_LOG}
echo "FTP target : ${TARGET_SID}" >>${FTP_LOG}
echo "Staring tar the dump file " >>${FTP_LOG}

# -------------------------
#  tar the dump file
# -------------------------

if [ -s "${DUMP_FILE}" ] && [ -s "${LAST_EXP_DUMP_LOG}" ];then
    cd ${DUMP_DIR}
    tar -czvf EXP_${ORACLE_SID}_${DT}.tar.gz ./EXP_${ORACLE_SID}_${DT}.???
else
    echo "Dump file does not exist for ${ORACLE_SID}" >>${FTP_LOG}
    MAIL_SUB="Dump files were not found for ${ORACLE_SID} on `hostname` before start to tar the dump file"
    mail -s $MAIL_SUB dba@trade.com <${FTP_LOG}
    exit 1
fi

# --------------------------------------------
#  config ftp parameter and ftp the dump file
# --------------------------------------------

if [ ! -s "${DUMP_DIR}/EXP_${ORACLE_SID}_${DT}.tar.gz" ];then
    echo "The dump files were not compressed before start ftp">>${FTP_LOG}
    MAIL_SUB=" The dump files were not compressed for ${ORACLE_SID} on `hostname` before start ftp, exit!"
    mail -s $MAIL_SUB dba@trade.com <${FTP_LOG}
    exit 1
fi

echo "Start copy tar file to ${TARGET_SID} ...." >>${FTP_LOG}
echo "--------------------------------------------------">>${FTP_LOG}

FTP_SRV=10.200.48.21
FTP_USR=oracle
FTP_PWD=oracle
FTP_LOCAL_PATH=${DUMP_DIR}
FTP_REMOTE_PATH=/u02/database/${TARGET_SID}/BNR/dump

ftp -nv >> $FTP_LOG <<EOF
open ${FTP_SRV}
user ${FTP_USR} ${FTP_PWD}
binary
cd ${FTP_REMOTE_PATH}
lcd ${FTP_LOCAL_PATH}
prompt
mput EXP_${ORACLE_SID}_${DT}.tar.gz
close
bye
EOF

RC=$?
flag=`cat ${FTP_LOG} | grep -i "receive OK" | grep -v grep`
if [ -z "${flag}" ] || [ "${RC}" -ne 0 ] ; then
    echo "FTP tar file to ${TARGET_SID} failed" >>${FTP_LOG}
    MAIL_SUB="FTP dump file from ${ORACLE_SID} to ${TARGET_SID} failed, please check !"
    mail -s $MAIL_SUB dba@trade.com <${FTP_LOG}
    exit 1
else
    echo "End ftp dump file to ${TARGET_SID} ...." >> ${FTP_LOG}
    echo "End ftp time at:" `date` --`date +%Y%m%d%H%M` >>${FTP_LOG}
    echo "">>${FTP_LOG}
    echo "-------------------------- End of the log file -----------------------">>${FTP_LOG}
    MAIL_SUB="FTP the dump file from ${ORACLE_SID} to ${TARGET_SID} completed successful."
    mail -s $MAIL_SUB dba@trade.com <${FTP_LOG}
fi

find ${DUMP_DIR} -name "*ftp*" -mtime +$RETENTION -exec rm {} \;
find ${DUMP_DIR} -name "EXP_${ORACLE_SID}*.gz" -mtime +$RETENTION -exec rm {} \;

exit

2、补充说明
a、该脚本用于Oracle expdp导出的dump文件自动ftp到指定服务器的指定路径下
b、对于expdp导出文件的格式定义请参阅上一篇文章,
Linux/Unix shell 自动导出Oracle数据库
c、由于导出与需要导入的数据库使用不同的SID,因此我们在脚本中定义了TARGET_SID
d、在ftp之前,我们对原来的dump文件进行了gzip压缩以节省网络带宽与传送时间
e、对该脚本作相应修改,同样可以将RMAN的备份档案实现ftp到异机
f、要实现自动ftp,当然是将其部署到crontab,此不赘述

 

3、更多参考

有关Oracle RAC请参考
    
使用crs_setperm修改RAC资源的所有者及权限
     使用crs_profile管理RAC资源配置文件
     RAC 数据库的启动与关闭
     再说 Oracle RAC services
     Services in Oracle Database 10g
     Migrate datbase from single instance to Oracle RAC
     Oracle RAC 连接到指定实例
     Oracle RAC 负载均衡测试(结合服务器端与客户端)
     Oracle RAC 服务器端连接负载均衡(Load Balance)
     Oracle RAC 客户端连接负载均衡(Load Balance)
     ORACLE RAC 下非缺省端口监听配置(listener.ora tnsnames.ora)
    
ORACLE RAC 监听配置 (listener.ora tnsnames.ora)
     配置 RAC 负载均衡与故障转移
     CRS-1006 , CRS-0215 故障一例 
    
基于Linux (RHEL 5.5) 安装Oracle 10g RAC
    
使用 runcluvfy 校验Oracle RAC安装环境

有关Oracle 网络配置相关基础以及概念性的问题请参考:
    
配置非默认端口的动态服务注册
    
配置sqlnet.ora限制IP访问Oracle
     Oracle 监听器日志配置与管理
    
设置 Oracle 监听器密码(LISTENER)
     配置ORACLE 客户端连接到数据库

有关基于用户管理的备份和备份恢复的概念请参考
    
Oracle 冷备份
     Oracle 热备份
     Oracle 备份恢复概念
     Oracle 实例恢复
     Oracle 基于用户管理恢复的处理
     SYSTEM 表空间管理及备份恢复
     SYSAUX表空间管理及恢复
     Oracle 基于备份控制文件的恢复(unsing backup controlfile)

有关RMAN的备份恢复与管理请参考
    
RMAN 概述及其体系结构
     RMAN 配置、监控与管理
     RMAN 备份详解
     RMAN 还原与恢复
     RMAN catalog 的创建和使用
     基于catalog 创建RMAN存储脚本
     基于catalog 的RMAN 备份与恢复
     RMAN 备份路径困惑
     使用RMAN实现异机备份恢复(WIN平台)
     使用RMAN迁移文件系统数据库到ASM
     linux 下RMAN备份shell脚本
     使用RMAN迁移数据库到异机

有关ORACLE体系结构请参考
    
Oracle 表空间与数据文件
     Oracle 密码文件
     Oracle 参数文件
     Oracle 联机重做日志文件(ONLINE LOG FILE)
     Oracle 控制文件(CONTROLFILE)
     Oracle 归档日志
     Oracle 回滚(ROLLBACK)和撤销(UNDO)
     Oracle 数据库实例启动关闭过程
     Oracle 10g SGA 的自动化管理
     Oracle 实例和Oracle数据库(Oracle体系结构) 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
目录
相关文章
|
6月前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了,把它们写进Shell脚本,就能一键搞定。脚本本质上就是个存着一堆命令的文本文件,但要让它“活”起来,有几个关键点:文件开头最好用#!/usr/bin/env bash来指定解释器,并用chmod +x给它执行权限。执行时也有讲究:./script.sh是在一个新“房间”(子Shell)里跑,不影响你;而source script.sh是在当前“房间”里跑,适合用来加载环境变量和配置文件。
563 9
|
6月前
|
算法 Linux Shell
Linux实用技能:打包压缩、热键、Shell与权限管理
本文详解Linux打包压缩技巧、常用命令与原理,涵盖.zip与.tgz格式操作、跨系统传文件方法、Shell运行机制及权限管理,助你高效使用Linux系统。
Linux实用技能:打包压缩、热键、Shell与权限管理
|
6月前
|
存储 Shell Linux
八、Linux Shell 脚本:变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西(赋值)时,=两边千万不能有空格。用单引号''装进去的东西会原封不动,用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”(Shell进程)用,想让隔壁房间(子进程)也能看到,就得给箱子盖个export的“出口”戳。此外,Shell还自带了$?(上条命令的成绩单)和$1(别人递进来的第一个包裹)等许多特殊箱子,非常有用。
548 2
|
8月前
|
Web App开发 缓存 安全
Linux一键清理系统垃圾:释放30GB空间的Shell脚本实战​
这篇博客介绍了一个实用的Linux系统盘清理脚本,主要功能包括: 安全权限检查和旧内核清理,保留当前使用内核 7天以上日志文件清理和系统日志压缩 浏览器缓存(Chrome/Firefox)、APT缓存、临时文件清理 智能清理Snap旧版本和Docker无用数据 提供磁盘空间使用前后对比和大文件查找功能 脚本采用交互式设计确保安全性,适合定期维护开发环境、服务器和个人电脑。文章详细解析了脚本的关键功能代码,并给出了使用建议。完整脚本已开源,用户可根据需求自定义调整清理策略。
945 0
|
11月前
|
Linux Shell
在Linux、CentOS7中设置shell脚本开机自启动服务
以上就是在CentOS 7中设置shell脚本开机自启动服务的全部步骤。希望这个指南能帮助你更好地管理你的Linux系统。
1244 25
|
10月前
|
Linux Shell
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
288 4
|
10月前
|
Linux Shell 数据安全/隐私保护
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
535 3
|
11月前
|
Linux Shell
shell_42:Linux参数移动
总的来说,参数移动是Linux shell脚本中的一个重要概念,掌握它可以帮助我们更好地处理和管理脚本中的参数。希望这个解释能帮助你理解和使用参数移动。
248 18
|
Shell Linux
【linux】Shell脚本中basename和dirname的详细用法教程
本文详细介绍了Linux Shell脚本中 `basename`和 `dirname`命令的用法,包括去除路径信息、去除后缀、批量处理文件名和路径等。同时,通过文件备份和日志文件分离的实践应用,展示了这两个命令在实际脚本中的应用场景。希望本文能帮助您更好地理解和应用 `basename`和 `dirname`命令,提高Shell脚本编写的效率和灵活性。
1054 32
|
存储 Shell Linux
Linux 如何更改默认 Shell
Linux 如何更改默认 Shell
Linux 如何更改默认 Shell