ABP框架使用Oracle数据库,并实现从SQLServer中进行数据迁移的处理

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介: ABP框架使用Oracle数据库,并实现从SQLServer中进行数据迁移的处理

ABP框架的数据访问底层是基于EFCore(Entity Framework Core)的,是微软标志性且成熟的ORM,因此它本身是支持多种主流数据库MySQL,SqlServer,Oracle,SQLite等等的,我在上篇随笔《ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据》已经详细介绍过如何从SQLServer迁移支持Mysql数据库的操作,同时介绍如何从SQLServer基础数据,通过Navicat工具,实现数据库迁移到Mysql上去。本篇随笔继续介绍ABP框架实现Oracle的适配和数据库的迁移处理。

1、ABP框架中Oracle数据库的适配处理

ABP框架底层是使用EFCore来实现数据处理的,框架默认是使用SQLServer数据库的,如果需要切换到Oracle数据库上去,使用EF Core操作Oracle数据库,首先需要安装Oracle.EntityFrameworkCore,可以直接在NuGet上直接搜索安装即可。

首先在ABP框架的EntityFrameworkCore项目右键上选择【管理NuGet程序包】,然后 搜索Oracle,选择Oracle.ManagedDataAccess.Core和Oracle.EntityFrameworkCore即可,如下所示。

Oracle.ManagedDataAccess.Core是基于ODP的.netcore的驱动程序,是我们访问Oracle的时候,摆脱X86,X64的繁琐限制。

这个Oracle的ODP.NET方式,之前在微软企业库的相关框架就已经用过,非常不错,有兴趣可以参考随笔《在开发框架中扩展微软企业库,支持使用ODP.NET(Oracle.ManagedDataAccess.dll)访问Oracle数据库》了解一下。

它的连接字符串类似下面的格式

<add name="oracle3" providerName="OracleManaged"  connectionString="Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl)));User ID=win;Password=win" />

如果是我们目前ABP框架,这是采用appSetting.json的方式了,格式如下所示。

"ConnectionStrings": {
    "Default": "Server=.\\SQL2014; Database=MyProjectDb; Trusted_Connection=True;",
    "Oracle": "Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl)));User ID=C##ABP;Password=abp",
    "MySql": "Server=localhost;Database=myprojectdb;Uid=root;Pwd=123456;",
    "PostgreSQL": "Server=localhost;Port=5432;Database=myprojectdb;User Id=postgres;Password=123456"
  },

安装了Oracle的两个驱动文件,我们就需要调整一下对应的代码了,参考随笔《ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据》的处理,我们调整非常方便。

 

支持,我们感觉好像Oracle的应该调整的差不多了,尝试把项目编译运行,会发现有错误出现:ORA-00942: 表或视图不存在

 

这个问题开始挺困惑的,而且ABP框架切换到Oracle的相关文章介绍也很少,网上很多做法后来回想起来,他们处理都是不太正确的,至少对于当前EFCore的处理来说,不是正确的。

要了解这个问题:ORA-00942: 表或视图不存在,我们需要来看看EFCore底层对表名和字段的限定符处理逻辑了,我们查看host启动项目的错误日志,得到如下提示。

ERROR 2021-08-15 16:12:46,603 [1    ] oft.EntityFrameworkCore.Database.Command - Failed executing DbCommand (114ms) [Parameters=[], CommandType='Text', CommandTimeout='0']
SELECT "a"."Id", "a"."CreationTime", "a"."CreatorUserId", "a"."DeleterUserId", "a"."DeletionTime", "a"."Discriminator", "a"."DisplayName", "a"."IsDeleted", "a"."LastModificationTime", "a"."LastModifierUserId", "a"."Name", "a"."AnnualPrice", "a"."DailyPrice", "a"."ExpiringEditionId", "a"."MonthlyPrice", "a"."TrialDayCount", "a"."WaitingDayAfterExpire", "a"."WeeklyPrice"
FROM "AbpEditions" "a"
WHERE "a"."Name" = N'Standard'
FETCH FIRST 1 ROWS ONLY

我们可以看到生成的访问SQL,它使用了双引号作为限定符。

生成的Sql中是将所有的表名和字段名都用双引号修饰的,而Oracle中存储字段名默认都是采用全大写的形式的,它们是不对应的,使用双引号的对象名称,是大小写敏感的,如下在PLSQL中执行语句。

而不使用限定符的字符串对象,默认是按大写方式来处理的,如下结果所示。

所以如果我们不想将实体类所有的属性名称写成大写,就需要显式的指定映射的column的名称。可以使用DataAnnotations的特性标注所有属性,或者在Context中指定列映射。

显示指定每个访问类的处理方式如下所示。

[Table("EMPLOYEE ")]  //指定数据库对应表名
public class Employee
{
    [Key]  //主键
    [Column("ID")] //指定数据库对应表主键名称
    public long Id { get; set; }
    [Column("EMPLOYEENO")]
    public int EmployeeNo { get; set; }
    [Column("NAME")]
    public string Name { get; set; }
    [Column("BIRTHDAY")]
    public DateTime BirthDay { get; set; }
    [Column("DEPARTMENT")]
    public string Department { get; set; }
    [Column("ISVALID")]
    public bool IsValid { get; set; }
}

这种方式肯定不是很好的方法,这种方式处理起来很累赘,而且ABP框架很多基类我们是通过官方DLL来引用的,没有或者很麻烦去修改相关的映射关系。

那么我们考虑动态公共映射的方式处理,尽量避免这种劳而无功的方式。

我们知道ABP框架中的EntityFrameworkCore项目里面,我们可以通过代码的方式修改它们和表、字段的映射关系,我们的规则就是让它(表名、字段名)变为大写,这样即使它们使用了限定符,也不改变SQL的处理结果。

我们修改EF模型OnModelCreating的处理逻辑,如下代码所示,红框部分就是我们改变问题所在的核心。

运行Host启动项目,我们发现后端的Swagger能够正常打开,成功了第一步了。

 

2、使用Oracle的序列和触发器解决自增ID的问题

不过登陆进入的时候,会发现出现 违反唯一约束条件的错误,这个是由于登录的时候,无法写入日志,因为无法让这个表的自增ID为NULL,违反了数据约束规则。

到这里,我们Oracle方面基本上就解决了大问题了,不过就是还有一个自增长的问题。

INSERT INTO "C##ABP"."ABPUSERTOKENS" ("EXPIREDATE", "LOGINPROVIDER", "NAME", "TENANTID", "USERID", "VALUE")
VALUES (:p0, :p1, :p2, :p3, :p4, :p5)
RETURNING "ID" INTO "lABPUSERTOKENS_0"(1)."ID";
OPEN :cur1 FOR SELECT "lABPUSERTOKENS_0"(1)."ID" FROM DUAL;
END;
ERROR 2021-08-14 17:27:18,636 [52   ] osoft.EntityFrameworkCore.Infrastructure - 2021-08-14 17:27:18.636902 ThreadID:52  (ERROR)   OracleExecutionStrategy.ExecuteAsync() :  Microsoft.EntityFrameworkCore.DbUpdateException: An error occurred while updating the entries. See the inner exception for details.
 ---> Oracle.ManagedDataAccess.Client.OracleException (0x80004005): ORA-00001: 违反唯一约束条件 (C##ABP.PK_ABPUSERTOKENS)
ORA-06512: 在 line 13

 

Oracle插入数据倒是和其他数据库差别不大,但是由于Oracle天生是没有自增Id的,如果我们设计的表的主键需要采用自增键就需要使用Sequence序列代替,通过序列和触发器的方式结合,我们可以顺利解决自增长的问题。

我们一般通过序列和触发器的结合,自动为自增长ID写入对应的起步值,定义Oracle序列和触发器的代码如下所示。

--表 WEB_SITEARTICLE 的自增序列和触发器
CREATE SEQUENCE WEB_SITEARTICLE_ID_AUTO
MINVALUE 1  --定义序列的初始值(即产生的第一个值),默认为1。
MAXVALUE 99999999999
START WITH 70   --因为表中已有3条数据,所以要从第4开始,如果尚未插入数据,那写1即可。
INCREMENT BY 1 --用于定义序列的步长,如果省略,则默认为1,如果出现负值,则代表序列的值是按照此步长递减的。
NOCYCLE --CYCLE代表循环,NOCYCLE代表不循环。
NOCACHE; --CACHE建立缓冲区,NOCACHE不建缓冲区
CREATE OR REPLACE TRIGGER WEB_SITEARTICLE_ID_TRIGGER
BEFORE INSERT ON WEB_SITEARTICLE --before:表示在数据库动作之前触发器执行; after:表示在数据库动作之后触发器执行。
FOR EACH ROW --对表的每一行触发器执行一次。如果不写,则只对整个表执行一次。
BEGIN
SELECT WEB_SITEARTICLE_ID_AUTO.NEXTVAL INTO :NEW.ID FROM DUAL; -- :new 为一个引用最新的列值;:old 为一个引用以前的列值; 这两个变量只有在使用了关键字 "FOR EACH ROW"时才存在.且update语句两个都有,而insert只有:new ,delect 只有:old;
END WEB_SITEARTICLE_ID_TRIGGER;

下面就是我们实际的文件中,为ABP框架的Oracle表创建序列和触发器的SQL代码截图。

执行后,我们就可以通过PLSQL查看到对应的序列和触发器列表,并可以进行适当的调整了。

序列如下:

触发器列表如下所示。

弄完这些,如果我们的Oracle表和数据都准备好了,那么就没有什么问题了,已经可以正常使用ABP框架在Oracle上跑了。

由于我们之前已经通过Navicat的方式迁移传输了SQLserver的数据,我们可以顺利跑起来ABP框架了,整套框架包括了WebAPI后端的Swagger管理、Vue&Element的管理前端、Winform管理前端,以及公司门户网站几个部分。

ABP 框架Swagger接口端

ABP框架之Vue&Element端

ABP框架之Winform端

ABP框架之公司门户网站

 

3、SQLServer结构和数据迁移到Oracle

我在上篇随笔《ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据》也详细介绍过使用Navicat工具实现SQLserver 数据库迁移到Mysql的处理方式,这里依旧使用这个方式,实现SQLserver 数据库迁移到Oracle。

首先我们需要创建对应的Oracle用户和表空间,用来承载表的结构和数据的存储。如果我们是基于Oracle的DMP导出文件,那么可以不用提前创建用户和表控件也行。

注意,由于ABP框架使用的数据库表和键名称等的标识超过了30个字符,而Oracle12c以下版本不支持超过30个字符的标识,因此本ABP项目以Oracle12c起步的数据库,用于解决这个标识问题。

由于Oracle12C的创建全局用户,需要以C##开始,因此创建用户的代码和Oracle11的有所差异。

下面是基于Oracle12C的创建用户和表空间SQL代码。用户名为C##ABP,密码为abp

create tablespace abp_tbs datafile 'C:\app\Administrator\virtual\oradata\orcl\whcdb\abp_tbs.dbf' size 100M;
--DROP TABLESPACE abp_tbs INCLUDING CONTENTS AND DATAFILES CASCADE CONSTRAINTS;
create user C##ABP identified by abp default tablespace abp_tbs;
grant connect,resource to C##ABP; 
grant dba to C##ABP;
--Revoke dba from C##ABP;

弄完这些准备工作,就到Navicat工具出场了。

通过数据传输的方式,我们构建Oracle数据的处理,分别设置源和目标的配置。

并注意通过选项的方式,设置好传输的规则。

 

其中我们需要设置让标识转换为大写,这个符合Oracle的处理规则,否则用了双引号的标识符,就不正确了。

另外遇到错误继续,是因为Oracle 的迁移,有些记录无法顺利处理,我们可以通过手工的方式补齐它,特别是NCLOB的内容,有些限制。

选定好相关的表内容,就可以继续一步步完成即可创建和导出表数据了。

最后我们通过PLSQL查看相关的表内容如下所示。

到这里,切换Oracle的后端代码,以及数据库的数据,包括创建对应自增记录字段ID的序列和触发器的处理也完成了,这样就可以顺利完成整个Oracle的迁移和处理了。

 

专注于代码生成工具、.Net/.NetCore 框架架构及软件开发,以及各种Vue.js的前端技术应用。著有Winform开发框架/混合式开发框架、微信开发框架、Bootstrap开发框架、ABP开发框架、SqlSugar开发框架等框架产品。
 转载请注明出处:撰写人:伍华聪  http://www.iqidi.com

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
相关文章
|
1月前
|
SQL 数据库
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库。 SQL Server数据库出现823错误的可能原因有:数据库物理页面损坏、数据库物理页面校验值损坏导致无法识别该页面、断电或者文件系统问题导致页面丢失。
94 12
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
|
11天前
|
SQL 存储 Oracle
Oracle数据库SQL语句详解与应用指南
在数字化时代,数据库已成为各类企业和组织不可或缺的核心组件。Oracle数据库作为业界领先的数据库管理系统之一,广泛应用于各种业务场景。掌握Oracle数据库的SQL语句是数据库管理员、开发人员及运维人员的基本技能。本文将详细介绍Oracle数据库SQL语句的基本概念、语法、应用及最佳实践。一、Or
27 3
|
1月前
|
Oracle 关系型数据库 数据库
数据库数据恢复—Oracle数据库文件出现坏块的数据恢复案例
打开oracle数据库报错“system01.dbf需要更多的恢复来保持一致性,数据库无法打开”。 数据库没有备份,无法通过备份去恢复数据库。用户方联系北亚企安数据恢复中心并提供Oracle_Home目录中的所有文件,急需恢复zxfg用户下的数据。 出现“system01.dbf需要更多的恢复来保持一致性”这个报错的原因可能是控制文件损坏、数据文件损坏,数据文件与控制文件的SCN不一致等。数据库恢复工程师对数据库文件进一步检测、分析后,发现sysaux01.dbf文件损坏,有坏块。 修复并启动数据库后仍然有许多查询报错,export和data pump工具使用报错。从数据库层面无法修复数据库。
数据库数据恢复—Oracle数据库文件出现坏块的数据恢复案例
|
24天前
|
Oracle 关系型数据库 数据库
Oracle数据恢复—异常断电导致Oracle数据库数据丢失的数据恢复案例
Oracle数据库故障: 机房异常断电后,Oracle数据库启库报错:“system01.dbf需要更多的恢复来保持一致性,数据库无法打开”。数据库没有备份,归档日志不连续。用户方提供了Oracle数据库的在线文件,需要恢复zxfg用户的数据。 Oracle数据库恢复方案: 检测数据库故障;尝试挂起并修复数据库;解析数据文件。
|
24天前
|
Oracle NoSQL 关系型数据库
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
86 2
|
5天前
|
存储 Oracle 关系型数据库
【数据库-Oracle】《Oracle 数据库探秘:基础知识点全攻略》
《Oracle 数据库探秘:基础知识点全攻略》深入介绍 Oracle 数据库的基础知识点,包括数据类型、表结构、查询语句等。通过详细讲解、代码示例和流程图,帮助读者快速掌握 Oracle 数据库的基本操作,为数据库开发和管理打下坚实基础。
18 0
|
29天前
|
SQL 关系型数据库 MySQL
创建包含MySQL和SQLServer数据库所有字段类型的表的方法
创建一个既包含MySQL又包含SQL Server所有字段类型的表是一个复杂的任务,需要仔细地比较和转换数据类型。通过上述方法,可以在两个数据库系统之间建立起相互兼容的数据结构,为数据迁移和同步提供便利。这一过程不仅要考虑数据类型的直接对应,还要注意特定数据类型在不同系统中的表现差异,确保数据的一致性和完整性。
27 4
|
7天前
|
Oracle 关系型数据库 数据库
oracle数据恢复—Oracle数据库文件损坏导致数据库打不开的数据恢复案例
打开oracle数据库时报错,报错信息:“system01.dbf需要更多的恢复来保持一致性,数据库无法打开”。急需恢复zxfg用户下的数据。 出现上述报错的原因有:控制文件损坏、数据文件损坏、数据文件与控制文件的SCN不一致等。数据恢复工程师对数据库文件做进一步检测分析后发现sysaux01.dbf文件有坏块。修复sysaux01.dbf文件,启动数据库依然有许多查询报错。export和data pump工具无法使用,查询告警日志并分析报错,确认发生上述错误的原因就是sysaux01.dbf文件损坏。由于该文件损坏,从数据库层面无法修复数据库。由于system和用户表空间的数据文件是正常的,
|
1月前
|
Oracle 安全 关系型数据库
Oracle数据恢复—Oracle数据库误删除的数据恢复方法探讨
删除Oracle数据库数据一般有以下2种方式:delete、drop或truncate。下面针对这2种删除oracle数据库数据的方式探讨一下oracle数据库数据恢复方法(不考虑全库备份和利用归档日志)。
|
28天前
|
SQL Oracle 关系型数据库
Oracle数据库管理:从入门到精通
表(Table):表是Oracle数据库中存储数据的基本结构单元,由行(Row)和列(Column)组成。每行代表一个记录,每列代表一个字段。 SQL(Structured Query Language):SQL是Oracle数据库的核心语言,用于与数据库交互,执行查询、插入、更新和删除等操作。 数据库实例与数据库:在Oracle中,数据库实例是一组后台进程和内存结构,用于管理数据库并提供服务。而数据库则是数据的物理存储,包括数据文件、控制文件、联机日志和参数文件等。
56 0

推荐镜像

更多