用Shell写的一段PostgreSQL到Oracle的数据传输脚本

简介:

只为实现功能,不求效率和可管理性等等。

代码如下:包含有注释和讲解

#!/bin/bash

. /home/testuser/.bash_profile

# 定义异常通知邮件组

TO_MAIL=” ”

# 判断是否已经在运行

test -f /home/testuser/script/run/target_table.run

# 退出代码和超时通知代码

if [ $? -eq 0 ]; then

SYNC_TIME_CHECK=”‘`ls -1 -l –time-style=+%F\ %T /home/testuser/script/run/target_table.run|awk ‘{print $6″ “$7}’`'”

psql -t -h /tmp -p 1921 -U testuser -d edb <<EOF 1>/home/testuser/script/target_table.timeoutstats 2>&1

select ’sync_time_out’ where now()-$SYNC_TIME_CHECK::timestamp without time zone>interval ‘1 hour’;

EOF

TIME_OUT_ERROR=0

TIME_OUT_ERROR=`grep -c “sync_time_out” /home/testuser/script/target_table.timeoutstats`

if [ $TIME_OUT_ERROR -ne 0 ]; then

echo -e “`cat /home/testuser/script/target_table.timeoutstats`\n\n`date +%F%T`\n sync target_table timeout!\n\nPlease Call Digoal!\n”|mutt -s “Sync Target Table timeout!” $TO_MAIL

echo -e “sync timeout”

fi

exit 3

fi

# 生成在运行标记

touch /home/testuser/script/run/target_table.run

# 获取最大ID

MAX_T=”‘`psql -t -h /tmp -p 1921 -U testuser -d edb -c “select max(id) from -e ’s/ //g’`'”

# 同步代码

psql -t -h /tmp -p 1921 -U testuser -d edb <<EOF 1>/home/testuser/script/target_table.stats 2>&1

begin;

select ’start sync: ‘||now();

delete from 

where

id < $MAX_T ;

insert into 

(col1,col2,col3,col4,col5,col6)

select

col1,col2,col3,col4,col5,col6

from 

where

id > ${MAX_T}

;

insert into 

(col1,col2,col3,col4,col5,col6)

select

col1,col2,col3,col4,col5,col6

from 

where

id > ${MAX_T} ;

commit;

EOF

# 异常捕获发送,异常的话不删除/home/testuser/script/run/target_table.run,防止后续数据出错

ERROR=0

ERROR=`grep -c “ROLLBACK” /home/testuser/script/target_table.stats`

if [ $ERROR -ne 0 ]; then

echo -e “`cat /home/testuser/script/target_table.stats`\n\n`date +%F%T`\n sync target data error!\n\nPlease Call Digoal!\n”|mutt -s “Sync target data error!” $TO_MAIL

echo -e “sync error”

exit 2

fi

# 删除运行标记

sleep 10

rm -f /home/testuser/script/run/target_table.run

#代码完

几个问题补充:

从postgresql到oracle使用的EDB DBLINK,时间字段不能进行传输,甚至连default值都用不了,报ORA-01861错误

01861, 00000, “literal does not match format string”

// *Cause:  Literals in the input must be the same length as literals in

//  the format string (with the exception of leading whitespace).  If the

//  “FX” modifier has been toggled on, the literal must match exactly,

//  with no extra whitespace.

// *Action: Correct the format string to match the literal.

解决办法是把时间改成char(14)直接写成字符。

还有一种折中的解决办法是在target端,也就是ORACLE端使用行触发器before for each row,生成一个sysdate。

相关实践学习
自建数据库迁移到云数据库
本场景将引导您将网站的自建数据库平滑迁移至云数据库RDS。通过使用RDS,您可以获得稳定、可靠和安全的企业级数据库服务,可以更加专注于发展核心业务,无需过多担心数据库的管理和维护。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了,把它们写进Shell脚本,就能一键搞定。脚本本质上就是个存着一堆命令的文本文件,但要让它“活”起来,有几个关键点:文件开头最好用#!/usr/bin/env bash来指定解释器,并用chmod +x给它执行权限。执行时也有讲究:./script.sh是在一个新“房间”(子Shell)里跑,不影响你;而source script.sh是在当前“房间”里跑,适合用来加载环境变量和配置文件。
1016 9
|
Shell
Shell脚本循环控制:shift、continue、break、exit指令
使用这些命令可以让你的Shell脚本像有生命一样动起来。正确使用它们,你的脚本就能像一场精心编排的舞蹈剧目,既有旋律的起伏,也有节奏的跳跃,最终以一场惊艳的表演结束。每一个动作、每一个转折点,都准确、优雅地完成所需要表达的逻辑。如此,你的脚本不只是冰冷的代码,它透过终端的界面,跳着有节奏的舞蹈,走进观众——使用者的心中。
463 60
|
存储 Shell Linux
八、Linux Shell 脚本:变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西(赋值)时,=两边千万不能有空格。用单引号''装进去的东西会原封不动,用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”(Shell进程)用,想让隔壁房间(子进程)也能看到,就得给箱子盖个export的“出口”戳。此外,Shell还自带了$?(上条命令的成绩单)和$1(别人递进来的第一个包裹)等许多特殊箱子,非常有用。
1081 2
|
数据采集 监控 Shell
无需Python:Shell脚本如何成为你的自动化爬虫引擎?
Shell脚本利用curl/wget发起请求,结合文本处理工具构建轻量级爬虫,支持并行加速、定时任务、增量抓取及分布式部署。通过随机UA、异常重试等优化提升稳定性,适用于日志监控、价格追踪等场景。相比Python,具备启动快、资源占用低的优势,适合嵌入式或老旧服务器环境,复杂任务可结合Python实现混合编程。
|
Oracle 关系型数据库 数据库
【赵渝强老师】在PostgreSQL中访问Oracle
本文介绍了如何在PostgreSQL中使用oracle_fdw扩展访问Oracle数据库数据。首先需从Oracle官网下载三个Instance Client安装包并解压,设置Oracle环境变量。接着从GitHub下载oracle_fdw扩展,配置pg_config环境变量后编译安装。之后启动PostgreSQL服务器,在数据库中创建oracle_fdw扩展及外部数据库服务,建立用户映射。最后通过创建外部表实现对Oracle数据的访问。文末附有具体操作步骤与示例代码。
1502 6
【赵渝强老师】在PostgreSQL中访问Oracle
|
Web App开发 缓存 安全
Linux一键清理系统垃圾:释放30GB空间的Shell脚本实战​
这篇博客介绍了一个实用的Linux系统盘清理脚本,主要功能包括: 安全权限检查和旧内核清理,保留当前使用内核 7天以上日志文件清理和系统日志压缩 浏览器缓存(Chrome/Firefox)、APT缓存、临时文件清理 智能清理Snap旧版本和Docker无用数据 提供磁盘空间使用前后对比和大文件查找功能 脚本采用交互式设计确保安全性,适合定期维护开发环境、服务器和个人电脑。文章详细解析了脚本的关键功能代码,并给出了使用建议。完整脚本已开源,用户可根据需求自定义调整清理策略。
1453 1
|
存储 Unix Shell
确定Shell脚本在操作系统中的具体位置方法。
这对于掌握Linux的文件系统组织结构和路径方面的理解很有帮助,是我们日常工作和学习中都可能使用到的知识。以上讲解详细清晰,应用简便,是每一个想要精通操作系统的计算机爱好者必备的实用技能。
1434 17
|
Linux Shell
在Linux、CentOS7中设置shell脚本开机自启动服务
以上就是在CentOS 7中设置shell脚本开机自启动服务的全部步骤。希望这个指南能帮助你更好地管理你的Linux系统。
2481 25
|
Linux Shell
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
479 4

推荐镜像

更多