jdbc操作根据bean类自动组装sql,天啦,我感觉我实现了hibernate

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 场景:需要将从ODPS数仓中计算得到的大额可疑交易信息导入到业务系统的mysql中供业务系统审核。最简单的方式是用阿里云的组件自动进行数据同步了。但是本系统是开放是为了产品化,要保证不同环境的可移植性,同时同步的表也就6个表,那么就利用现有的基于jdbc的规则引擎工程来自己实现数据的同步。

场景:需要将从ODPS数仓中计算得到的大额可疑交易信息导入到业务系统的mysql中供业务系统审核。最简单的方式是用阿里云的组件自动进行数据同步了。但是本系统是开放是为了产品化,要保证不同环境的可移植性,同时同步的表也就6个表,那么就利用现有的基于jdbc的规则引擎工程来自己实现数据的同步。

完整的工程代码可以参考我的github  https://github.com/intsmaze/SqlAdapter

 JDBC手动将一个库的数据导入到另一个数据库中,如何避免人工映射操作,提高开发效率

讨厌的方式

查询数据,将结果映射到javabean对象中
ps = conn.prepareStatement(select id,name,age from intsmaze);
rs = ps.executeQuery();
Intsmaze intsmaze = null;
while (rs.next()) {
    intsmaze = new Intsmaze();
    intsmaze.setId(rs.getInt(1));
    intsmaze.setName(rs.getString(2));
    intsmaze.setAge(rs.getInt(3));
}
添加数据,将javabean对象字段映射到对应的表列
String sql = "insert into intsmaze(id,name,age)  values (?,?,?)";
ps = conn.prepareStatement(sql);
ps.setInt(1, intsmaze.getId());
ps.setString(2, intsmaze.getName());
ps.setInt(3, intsmaze.getAge());
ps.executeUpdate();

使用JDBC大家都会使用上面的方式进行开发,但是如果我们的表的字段有50个,而且查询不能使用 select * from 必须指定列名呢?添加数据不能使用insert into intsmaze values()必须指定插入的列名呢?你干脆杀了我吧。

50个字段你要做2次字段列名映射,稍有不慎就会将字段列名映射到错误的位置,导致最后数据错误,最可怕的是,还要编写sql语句,如果后面有新增或删除列名,那么你又要去看一眼映射关系,看看是否影响到。这就是一种费力却没有技术含量的事情,而且还很容易出错。下面就是我们要做的各种映射,你真的很考验我的眼神。

result.getObjectByName("FieldName")

javabean.setFieldValue()

PreparedStatement.setString(number,FieldVale)

根据javabean自动生成insert,select语句,完成字段列名映射

 

根据javabean自动生成insert,select语句,完成字段列名映射

 

当初开发时,一看到这么多字段映射我烦躁不安,然后花了半天用反射把代码重新编写了下,后面有新的表要进行同步时,用一个工具类生成javabean的java文件,然后直接就在下面模板代码中替换javabean类就完成了数据同步,整个操作10分钟搞定,是不是很爽。

当然你可以引入orm框架,但是除了hibernate框架,mybatis框架虽然免去了select和insert的映射,但是还是要编写前缀列名,而且我就一个小工程,我再引入ORM框架,麻不麻烦啊,有这时间还不如自己写一写。

public class ModelServer extends ApplicationServer {

    private static final Logger logger = LoggerFactory.getLogger(ExportBlockCustomerServer.class);
    private final static String SQL = "get_customer_infor";
    private MysqlService<TestGroup> mysqlService = new MysqlService<TestGroup>();
    @Override
    public String[] getPaths() {
        return new String[] { "com/hand/service/exe/blocktrade/blocktrade.xml" };
    }

    private int date = 1;
    @Override
    public void addOptions(Options options) {
        options.addOption("date", true, "天数");
    }
    @Override
    public void setupOptionValue(CommandLine cmd) {
        date = Integer.parseInt(cmd.getOptionValue("date", "1"));
        logger.debug("date is {}", date);
    }

    public void service() throws Exception {
        mysqlService.setMysqlDao(this.getMysqlDao());
        AmlException exception = null;
        for (int i = 1; i <= date; i++) {

            String exeSql = (String) this.getSqlMap().get(SQL);
            Result result = this.getSqlAdapter().select(this.getDao(),"SELECT * from test_group");//向odps数据仓库查询数据,并导入到mysql中

            String[] names = FilesNameUtils.getFiledName(new TestGroup());//得到这个bean类的所有字段名称,要保证bean类的字段名称和数据库表的列名一致
            String insertSql = SqlUtils.getInsertSql("test_group", names);//组装成insert into test_group (id,cny,d,party_id,age) values (?,?,?,?,?)语句
            
            List<TestGroup> list = new ArrayList<TestGroup>(100);
            int number = 0;
            while (result.hasNext()) {
                result.next();
                TestGroup br = (TestGroup) tableToBean(result, i,names);//将odps查询的数据反射到TestGroup类中,不用反射见重载函数
                list.add(br);
                number++;
                if (number % 100 == 0) {
                    try {
                        mysqlService.insert(insertSql, list, names);
                    } catch (Exception e) {
                        exception = new AmlException(e);
                    } finally {
                        list.clear();
                    }
                }
            }
            try {
                mysqlService.insert(insertSql, list, names);
                logger.info("insert data number is {}", number);
            } catch (Exception e) {
                logger.info("insert data number is {}", number);
                exception = new AmlException(e);
            } finally {
                result.close();
            }

        }
        if (exception != null) {
            throw exception;
        }
    }

    public static void main(String[] args) throws Exception {
        ModelServer applicationServer = new ModelServer();
        applicationServer.run(args);
        logger.info("execute sucess......");
        System.exit(0);
    }

    private Object tableToBean(Result result, int i, String[] names) throws Exception {
        Class clazz = TestGroup.class;
        TestGroup testGroup = (TestGroup) clazz.newInstance();
        for (int j = 0; j < names.length; j++) {
            Object object = result.getObjectByName(names[j]);
            if (object instanceof  String) {
                 Field f = clazz.getDeclaredField(names[j]);
                 f.setAccessible(true);
                 f.set(testGroup, object);
            } else if (object instanceof  Date) {
                 Field f = clazz.getDeclaredField(names[j]);
                 f.setAccessible(true);
                 f.set(testGroup, new java.sql.Date(((Date)object).getTime()));
            }
            else if (object instanceof Long) {
                 Field f = clazz.getDeclaredField(names[j]);
                 f.setAccessible(true);
                 f.set(testGroup, object);
            } 
        }
        return testGroup;
    }

    private Bigamountreport tableToBean(Result result, int i)
            throws SQLException {
        Bigamountreport bigamountreport = new Bigamountreport();
        bigamountreport.setSeqno((String) result.getObjectByName("aml_id"));
        bigamountreport.setCustomerId((String) result
                .getObjectByName("party_id"));
        ......疯狂的set操作return bigamountreport;
    }

}

获得传入对象的字段名称的字符串数据,为了拼接sql使用

    public static String[] getFiledName(Object o) {
        Field[] fields = o.getClass().getDeclaredFields();
        String[] fieldNames = new String[fields.length];
        for (int i = 0; i < fields.length; i++) {
            fieldNames[i] = fields[i].getName();
        }
        return fieldNames;
    }

拼接insert的sql语句

public static String getInsertSql(String tableName ,String[] names)
    {
        String insertSql = StringUtils.join("insert into ",tableName ," (#{field_name}) values (#{field_value})");
        String fieldName="";
        String fieldValue="";
        for(int j = 0; j < names.length; j++)
        {
            if(j==names.length-1)
            {
                fieldName=StringUtils.join(fieldName,names[j]);
                fieldValue=StringUtils.join(fieldValue,"?");
            }
            else
            {
                fieldName=StringUtils.join(fieldName,names[j],",");
                fieldValue=StringUtils.join(fieldValue,"?",",");
            }
        }
        insertSql=insertSql.replace("#{field_name}", fieldName).replace("#{field_value}", fieldValue);
        logger.debug("the insert sql is :{}",insertSql);
        return insertSql;
    }

 

最重要的是assembleBeantoPS方法,用于根据映射字段列名

public class MysqlService<T> {
	private static final Logger logger = LoggerFactory.getLogger(MysqlService.class);

	private MysqlDao mysqlDao;

	public void assembleBeantoPS(PreparedStatement ps, int number,
			String FileName, Object bean) throws Exception {
		Type fileType = FilesNameUtils.getFieldType(FileName, bean);//根据属性名称返回字段类型
		if (fileType == String.class) {
			ps.setString(number + 1,
					(String) FilesNameUtils.getFieldValueByName(FileName, bean));
		}
		else if ("long".equals(fileType.toString()+"")) {
			ps.setLong(number + 1,(Long) FilesNameUtils.getFieldValueByName(FileName, bean));
		}
		else if (fileType == Long.class) {
			ps.setLong(number + 1,(Long) FilesNameUtils.getFieldValueByName(FileName, bean));
		}
		else if (fileType == Date.class) {
			ps.setDate(number + 1,new java.sql.Date(((Date)FilesNameUtils.getFieldValueByName(FileName, bean)).getTime()));
		}
	}

	/**
	 * @author:YangLiu
	 * @date:2017年12月25日 下午3:52:20
	 * @describe:
	 */
	public void insert(String sql, List<T> list,
			String[] names) throws Exception {
		boolean iserror=false;
		PreparedStatement ps = null;
		try {
			ps = mysqlDao.getConnection().prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
			for (int i = 0; i < list.size(); i++) {
				T bigamount = list.get(i);
				try{
					for (int j = 0; j < names.length; j++) {
						assembleBeantoPS(ps, j, names[j], bigamount);
					}
					ps.executeUpdate();
				}catch (Exception e) {
					iserror=true;
					logger.error("插入数据发生错误, occur {} ", e);
					logger.error("异常数据 {} ", bigamount);
				}
			}
		} catch (Exception e) {
			mysqlDao.getInstance().free(null, ps, mysqlDao.getConnection());
			logger.error("the sql: {} occur {} ", sql, e);
			throw new AmlException("mysql建立连接时发生异常");
		} finally {
			mysqlDao.getInstance().free(null, ps);
			if(iserror)
			{
				throw new AmlException("向mysql中导入数据时发生异常");
			}
		}
	}
	
	/**
	 * @deprecated
	 * @author:YangLiu
	 * @date:2017年12月25日 下午3:52:20
	 * @describe:SB写法
	 */
	public boolean insertBatchBigamountrecord(String sql,
			List<Bigamountrecord> list) throws Exception {
		PreparedStatement ps = null;
		try {

   		    // dseqno,transOrgId,policyNo,antPolicyNo,periodPrem,transactionAmountCny,transactionAmountUsd
			ps = mysqlDao.getConnection().prepareStatement(sql,
					Statement.RETURN_GENERATED_KEYS);
			for (int i = 0; i < list.size(); i++) {
				Bigamountrecord bigamountrecord = list.get(i);
				int j = 1;
				ps.setString(j++, bigamountrecord.getDseqno());
				ps.setString(j++, bigamountrecord.getTransOrgId());
				ps.setString(j++, bigamountrecord.getPolicyNo());
				......疯狂的set操作
				ps.addBatch();
			}
			ps.executeBatch();
		} catch (SQLException e) {
			mysqlDao.getInstance().free(null, ps, mysqlDao.getConnection());
			return false;
		} finally {
			mysqlDao.getInstance().free(null, ps);
		}
		return true;
	}
}

 

作者: intsmaze(刘洋)
老铁,你的--->推荐,--->关注,--->评论--->是我继续写作的动力。
微信公众号号:Apache技术研究院
由于博主能力有限,文中可能存在描述不正确,欢迎指正、补充!
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
22天前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
23 0
|
22天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
61 0
|
22天前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
29 0
|
22天前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
39 0
|
3月前
|
SQL Java 数据库连接
JDBC连接SQL Server2008 完成增加、删除、查询、修改等基本信息基本格式及示例代码
这篇文章提供了使用JDBC连接SQL Server 2008数据库进行增加、删除、查询和修改操作的基本步骤和示例代码。
|
4月前
|
SQL 分布式计算 MaxCompute
SQL开发问题之对于ODPS中的UNION操作,执行计划的问题如何解决
SQL开发问题之对于ODPS中的UNION操作,执行计划的问题如何解决
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之控制JDBC方式请求的SQL大小限制的参数是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
12天前
|
Java 关系型数据库 MySQL
mysql5.7 jdbc驱动
遵循上述步骤,即可在Java项目中高效地集成MySQL 5.7 JDBC驱动,实现数据库的访问与管理。
21 1
|
3月前
|
SQL druid Java
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)(下)
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)
53 3
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)(下)