a foolish sync method about sync data from PostgreSQL to Oracle

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介:
使用以下脚步从PostgreSQL同步到Oracle的数据不一致。
 原因分析在后面
#!/bin/bash

. /home/enterprisedb/.bash_profile
EMAIL="noc@xxx.com dba@xxx.com"

# check running mark
test -f /home/enterprisedb/script/run/tbl_charge_xxxx.run
if [ $? -eq 0 ]; then
SYNC_TIME_CHECK="'`ls -1 -l --time-style=+%F\ %T /home/enterprisedb/script/run/tbl_charge_xxxx.run|awk '{print $6" "$7}'`'" 
psql -t -h /tmp -p 1921 -U enterprisedb -d edb <<EOF 1>/home/enterprisedb/script/tbl_charge_xxxx.timeoutstats 2>&1
select 'sync_time_out' where now()-$SYNC_TIME_CHECK::timestamp without time zone>interval '1 hour';
EOF
TIME_OUT_ERROR=0
TIME_OUT_ERROR=`grep -c "sync_time_out" /home/enterprisedb/script/tbl_charge_xxxx.timeoutstats`
if [ $TIME_OUT_ERROR -ne 0 ]; then
echo -e "`cat /home/enterprisedb/script/tbl_charge_xxxx.timeoutstats`\n\n`date +%F%T`\n sync xxxx xltj.msss.sa_sales_info_xxxx timeout!\n\nPlease Call Digoal!\n"|mutt -s "Sync xxxx XLTJ timeout!" $EMAIL
echo -e "sync timeout"
fi
exit 3
fi

# create running mark
touch /home/enterprisedb/script/run/tbl_charge_xxxx.run

MAX_T="'`psql -t -h /tmp -p 1921 -U enterprisedb -d edb -c "select max(id) from msss.tbl_charge_xxxx_recent@edb.xl_local"|sed -e 's/ //g'`'"
echo $MAX_T

psql -t -h /tmp -p 1921 -U enterprisedb -d edb <<EOF 1>/home/enterprisedb/script/tbl_charge_xxxx.stats 2>&1
begin;
select 'start sync: '||now();
delete from msss.tbl_charge_xxxx_recent@edb.xl_local 
where 
id < $MAX_T ;

insert into msss.tbl_charge_xxxx_recent@edb.xl_local 
(id,mobile,xxxxxx,xxxx,mobi_factory,mobi_mode,hsv,org_id,ver,send_date,create_date,MODEVER,BUILDTIME) 
select id,trim(coalesce(phonenum,'nvl')),trim(xxxxxx),trim(xxxx),trim(coalesce(hsman,'nvl')),trim(coalesce(hstype,'nvl')),to_number(hsversion,'99999999999999999999'),trim(hsman),to_number(appversion,'99999999999999999999'),to_char(motime,'yyyymmddhh24miss'),to_char(createtime,'yyyymmddhh24miss'),trim(coalesce(SOFTVERSION,'nvl')),trim(coalesce(SOFTCOMPILETIME,'nvl'))
from xxxx.tbl_charge_xxxx@edb.xxxx_pg 
where
id > ${MAX_T}
and appid=810007
;

insert into msss.SA_SALES_INFO_xxxx@edb.xl_local 
(id,mobile,xxxxxx,xxxx,mobi_factory,mobi_mode,hsv,org_id,ver,mccid,MODEVER,BUILDTIME)
select
id,coalesce(mobile,'nvl'),xxxxxx,xxxx,coalesce(mobi_factory,'nvl'),coalesce(mobi_mode,'nvl'),hsv,org_id,ver,case substring(xxxx,1,3) when ('234','235') then '234' when ('310','311','312','313','314','315','316') then '310' when ('430','431') then '430' when ('440','441') then '440' when ('460','461') then '460' else substring(xxxx,1,3) end,MODEVER,BUILDTIME
from msss.tbl_charge_xxxx_recent@edb.xl_local
where 
id > ${MAX_T} ;
commit;
EOF

# logging
cat /home/enterprisedb/script/tbl_charge_xxxx.stats >> /home/enterprisedb/script/tbl_charge_xxxx.log

# delete running mark
sleep 10
rm -f /home/enterprisedb/script/run/tbl_charge_xxxx.run

ERROR=0
ERROR=`grep -c "ROLLBACK" /home/enterprisedb/script/tbl_charge_xxxx.stats`
if [ $ERROR -ne 0 ]; then
echo -e "`cat /home/enterprisedb/script/tbl_charge_xxxx.stats`\n\n`date +%F%T`\n sync xxxx xltj error!\n\nPlease Call Digoal!\n"|mutt -s "Sync xxxx XLTJ error!" $EMAIL
echo -e "sync error"
fi

逻辑大概是这样的:
根据PostgreSQL里面需要同步的表的PK,增量同步数据到Oracle。
看起来很美好,增量的,健康的。
问题就出在增量这里。如果系统中只有一个SESSION对这个表操作时,ID确实是随着时间递增的。
但是当有多个SESSION同时操作一个表时,SEQUENCE分配给多个SESSION,但是SESSION的COMMIT顺序可能与SEQUENCE的分配顺序不一致。从而抽取数据时会出现空隙的现象。
例如,有两个SESSION
session 1 获取到得SEQID是1-10
session 2 获取到得SEQID是11-20
session 2先提交,在session 1提交之前,数据同步到ORACLE了。
接下来同步取id>20的数据,因此1-10的数据就漏掉了。

另外,使用记录创建时间来抽取也存在类似问题,因为记录创建时间是事务的启动时间,不是提交时间。
相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
7月前
|
关系型数据库 分布式数据库 数据库
PolarDB PostgreSQL版:Oracle兼容的高性能数据库
PolarDB PostgreSQL版是一款高性能的数据库,具有与Oracle兼容的特性。它采用了分布式架构,可以轻松处理大量的数据,同时还支持多种数据类型和函数,具有高可用性和可扩展性。它还提供了丰富的管理工具和性能优化功能,为企业提供了可靠的数据存储和处理解决方案。PolarDB PostgreSQL版在数据库领域具有很高的竞争力,可以满足各种企业的需求。
|
3月前
|
Oracle NoSQL 关系型数据库
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
585 2
|
5月前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之使用连接串模式新增PostgreSQL数据源时遇到了报错"not support data sync channel, error code: 0001",该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
SQL Oracle 关系型数据库
关系型数据库Oracle Data Guard
【7月更文挑战第11天】
46 1
|
5月前
|
SQL 监控 Oracle
关系型数据库Oracle 的Data Guard:
【7月更文挑战第7天】
65 3
|
5月前
|
Oracle 关系型数据库 数据库
|
7月前
|
人工智能 Oracle 关系型数据库
一篇文章弄懂Oracle和PostgreSQL的Database Link
一篇文章弄懂Oracle和PostgreSQL的Database Link
|
7月前
|
SQL Oracle 关系型数据库
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
|
SQL Oracle 关系型数据库
Oracle,Postgresql等数据库使用
Oracle,Postgresql等数据库简单使用
172 0
Oracle,Postgresql等数据库使用
|
Oracle 关系型数据库
Oracle 中data与timstamp互转
Oracle 中data与timstamp互转