java+反射+多线程+生产者消费者模式+读取xml(SAX)入数据库mysql-【费元星Q9715234】

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: java+反射+多线程+生产者消费者模式+读取xml(SAX)入数据库mysql-【费元星Q9715234】 说明如下,不懂的问题直接我【费元星Q9715234】 1.反射的意义在于不将xml tag写死在sax 的代码中,直接配置到一个bean就可以了。

java+反射+多线程+生产者消费者模式+读取xml(SAX)入数据库mysql-【费元星Q9715234】

说明如下,不懂的问题直接我【费元星Q9715234】

1.反射的意义在于不将xml tag写死在sax 的代码中,直接配置到一个bean就可以了。

2.多线程分工明确,线程各做各的任务,生产者只用了一个线程,使用多线程没有意义,瓶颈在IO

3.SAX读取超大文件的性能较好,dom等均不佳。

4.总的瓶颈在DB的入库,可以使用insert ,好一点使用spring 预编译,保证全数据的入库。我采用的是mysql 的load,性能提升8倍左右,缺点是没有对数据中的阿拉伯文等语种做处理,

 

 

 

 1 /**
 2  * <a> 读xml的管 理类 </a>
 3  *
 4  * @author: feiyuanxing@baidu.com
 5  * @time 2016/12/27
 6  */
 7 public class ReadXmlManger {
 8     private static final Logger logger = LoggerFactory.getLogger(ReadXmlManger.class);
 9 
10     public static String insertTempFile;
11     public static String updateTempFile;
12 
13     /**
14      * 各种字符型的入库 还没有做
15      *
16      * @param args
17      */
18     public static void main(String[] args) {
19         Long starTime = System.currentTimeMillis();
20         String needAnalysisFileDir = "D:\\creditcode\\xml\\";
21         insertTempFile = "D:\\creditcode\\tmp\\tmpInsert.sql";
22         updateTempFile = "D:\\\\creditcode\\\\tmp\\\\tmpDelete.sql";
23 
24         if (args.length == 3) {
25             needAnalysisFileDir = args[0];
26             insertTempFile = args[1];
27             updateTempFile = args[2];
28             System.out.println("argument is right:" + args.length + Arrays.toString(args));
29         }
30         // else {
31         //            System.out.println("argument is not right:" + args.length + Arrays.toString(args) + " ,over...");
32         //            System.exit(1);
33         //            return;
34         //
35         //        }
36         // 对各种连接做初始化
37         ImportDataUtil.getConnet();
38         // 加载文件路径到队列中
39         ImportDataUtil.getXmlDirToQueue(needAnalysisFileDir);
40         // 执行将数据中的md5 列加载得到内存中
41         ImportDataUtil.getSourecXmlList();
42 
43         // 创建初始化流
44         ImportDataUtil.createWriter(insertTempFile, updateTempFile);
45         logger.info("begin compare...");
46         // 读xml到队列中
47         XmlData.pool.execute(new ReadXmlThread(CreditCode.class));
48         // 从队列中取值比较完后写到txt中
49         XmlData.pool.execute(new CompareThread(CreditCode.class));
50         // 等待所有子线程执行完
51         while (true) {
52             if (XmlData.pool.isShutdown()) {
53                 // 将txt中的数据load到数据库中
54                 loadData();
55                 Long endTime = System.currentTimeMillis();
56                 logger.info("compare over ,all read " + XmlData.atomicIntegerSC.get() + " ;");
57                 logger.info("Import the data complete, takes " + (endTime - starTime) / 1000 + " seconds;");
58                 return;
59             }
60         }
61     }
62 
63     // 都执行完执行
64     public static void loadData() {
65         // 将最后的新增加数据load到source文件中
66         ImportDataUtil.dumpInsertBuilder2File();
67 
68         // 将txt文件load到数据中  false未启用
69         CreditCode creditCode = null;
70         logger.info("Start the load data for the last time....");
71         logger.info("The mission were increased: " + XmlData.currentAddNum.get() + " tiao data");
72         ImportDataUtil.loadFile(insertTempFile, CreditCode.class);
73 
74         // 清空md5表
75         ImportDataUtil.clearTmpTable();
76         // 将集合中剩余的md5写到文件中
77         logger.info("Began to set in the rest of the md5 written to a file ");
78         ImportDataUtil.dumpUpdateBuilder2File();
79         // load进数据 and 级联删除数据
80         logger.info("Delete data load and start cascading delete data...");
81         ImportDataUtil.sourceFile(updateTempFile);
82         XmlData.context.close();
83 
84     }
85 
86 }

 

类列表

1 BeanListHandler
2 CompareThread
3 ImportDataUtil
4 ReadXmlThread
5 WriteFileUtil
6 XmlColumn
7 XmlData
8 XmlSAXParse

 

未来星开发团队--狒狒 QQ:9715234
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2天前
|
存储 SQL 关系型数据库
一篇文章搞懂MySQL的分库分表,从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
MySQL如何进行分库分表、数据迁移?从相关概念、使用场景、拆分方式、分表字段选择、数据一致性校验等角度阐述MySQL数据库的分库分表方案。
一篇文章搞懂MySQL的分库分表,从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
|
2天前
|
存储 缓存 安全
【Java面试题汇总】多线程、JUC、锁篇(2023版)
线程和进程的区别、CAS的ABA问题、AQS、哪些地方使用了CAS、怎么保证线程安全、线程同步方式、synchronized的用法及原理、Lock、volatile、线程的六个状态、ThreadLocal、线程通信方式、创建方式、两种创建线程池的方法、线程池设置合适的线程数、线程安全的集合?ConcurrentHashMap、JUC
【Java面试题汇总】多线程、JUC、锁篇(2023版)
|
1天前
|
存储 SQL 关系型数据库
使用MySQL Workbench进行数据库备份
【9月更文挑战第13天】以下是使用MySQL Workbench进行数据库备份的步骤:启动软件后,通过“Database”菜单中的“管理连接”选项配置并选择要备份的数据库。随后,选择“数据导出”,确认导出的数据库及格式(推荐SQL格式),设置存储路径,点击“开始导出”。完成后,可在指定路径找到备份文件,建议定期备份并存储于安全位置。
23 11
|
6天前
|
Java 调度 开发者
Java并发编程:深入理解线程池
在Java的世界中,线程池是提升应用性能、实现高效并发处理的关键工具。本文将深入浅出地介绍线程池的核心概念、工作原理以及如何在实际应用中有效利用线程池来优化资源管理和任务调度。通过本文的学习,读者能够掌握线程池的基本使用技巧,并理解其背后的设计哲学。
|
6天前
|
缓存 监控 Java
Java中的并发编程:理解并应用线程池
在Java的并发编程中,线程池是提高应用程序性能的关键工具。本文将深入探讨如何有效利用线程池来管理资源、提升效率和简化代码结构。我们将从基础概念出发,逐步介绍线程池的配置、使用场景以及最佳实践,帮助开发者更好地掌握并发编程的核心技巧。
|
2天前
|
Java 调度 开发者
Java中的多线程基础及其应用
【9月更文挑战第13天】本文将深入探讨Java中的多线程概念,从基本理论到实际应用,带你一步步了解如何有效使用多线程来提升程序的性能。我们将通过实际代码示例,展示如何在Java中创建和管理线程,以及如何利用线程池优化资源管理。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和技巧,帮助你更好地理解和应用多线程编程。
|
7天前
|
算法 Java 数据处理
Java并发编程:解锁多线程的力量
在Java的世界里,掌握并发编程是提升应用性能和响应能力的关键。本文将深入浅出地探讨如何利用Java的多线程特性来优化程序执行效率,从基础的线程创建到高级的并发工具类使用,带领读者一步步解锁Java并发编程的奥秘。你将学习到如何避免常见的并发陷阱,并实际应用这些知识来解决现实世界的问题。让我们一起开启高效编码的旅程吧!
|
3天前
|
存储 缓存 关系型数据库
MySQL 视图:数据库中的灵活利器
视图是数据库中的虚拟表,由一个或多个表的数据经筛选、聚合等操作生成。它不实际存储数据,而是动态从基础表中获取。视图可简化数据访问、增强安全性、提供数据独立性、实现可重用性并提高性能,是管理数据库数据的有效工具。
|
3天前
|
SQL 关系型数据库 MySQL
MySQL技术安装配置、数据库与表的设计、数据操作解析
MySQL,作为最流行的关系型数据库管理系统之一,在WEB应用领域中占据着举足轻重的地位。本文将从MySQL的基本概念、安装配置、数据库与表的设计、数据操作解析,并通过具体的代码示例展示如何在实际项目中应用MySQL。
13 0
|
6天前
|
安全 Java UED
Java并发编程:解锁多线程的潜力
在Java的世界里,并发编程如同一场精心编排的交响乐,每个线程扮演着不同的乐手,共同奏响性能与效率的和声。本文将引导你走进Java并发编程的大门,探索如何在多核处理器上优雅地舞动多线程,从而提升应用的性能和响应性。我们将从基础概念出发,逐步深入到高级技巧,让你的代码在并行处理的海洋中乘风破浪。