从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云解析 DNS,旗舰版 1个月
简介: 从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...


前言

现在是:2022年4月20日13:33:23

以前是怎么都没想到,我需要在服务器的nohup文件中找记录,然后往数据库里面更新。具体因为啥不提了,说多了都是愧啊~今天主要是分享一个java解析nohup文件提取关注的信息,然后添加到数据库中。

实现思路

刚开始我是直接将nohup文件中的信息手动复制出来,然后写了个insertsql语句,一条一条的往里面添加,结果发现有上千条,这么干不睡觉都加不进去多少,于是想到了找小杨和小于帮帮忙,无奈有点复杂,光给他两讲怎么加讲了半天,还不能保证他两会了,数据能加对。。。。。

后来想了个办法,将nohup文件先转换成txt文件,然后解析txt文件,根据关键字提取关键信息,拿到之后截取成固定字符串,通过jdbc的方式添加在数据库中。

  1. nohup文件的后缀改成txt
  2. 观察自己关注的数据的规律,尤其是前后有什么可以标识的,看了看,可以根据Parameters这个来解析。

  1. 因为很不规律,所以有单独查找了下(Timestamp),截取成一个字符串
  2. 本来想着按照逗号来将这个字符串中所有需要的信息截取到,依次添加到数据库中,结果发现有个字段是介绍,里面的值也有逗号,有中文的逗号,也有因为的逗号,这种方法看来行不通。
  3. 想办法查找(Stirng),全文替换成~,然后按照~查找,最后在截取,终于可行了。

实现代码

1.按照Parameters解析txt文件:

package com.ruoyi.web.controller.util;
 import com.ruoyi.system.domain.EquipmentRZ;
 import java.io.File;
 import java.io.FileNotFoundException;
 import java.text.ParseException;
 import java.text.SimpleDateFormat;
 import java.util.Scanner;
 /**
  * @author: muxiongxiong
  * @date: 2022年04月19日 上午 11:05
  * 公众号:雄雄的小课堂
  * 博客:https://blog.csdn.net/qq_34137397
  * 个人站:http://www.穆雄雄.com
  * 个人站:http://www.muxiongxiong.cn
  * @Description: 解析txt文件获取里面的数据
  * 最初解析的是nohup文件,现在改为解析txt文件
  * 将txt文件里面的内容,解析成对象,添加到认证器材表里去
  */
 public class ParseTXTFileUtils {
     public void parseTxt(){
         File file = new File("D:\\test3.txt");
         SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
         if (!file.exists()) {
             System.out.println("节点基本信息文件未找到");
         }
         Scanner s = null;
         try {
             s = new Scanner(file);
         } catch (FileNotFoundException e) {
             e.printStackTrace();
         }
         while (true) {
             //文档中的内容
             String danci = s.next();
             if ("Parameters:".equals(danci)) {
                 //开始留存需要的数据.
                 String jixu = "";
                 int count = 0;
                 while (true) {
                     EquipmentRZ equipmentRZ = new EquipmentRZ();
                     String danci2 = s.next();
                     jixu += danci2;
                     if (danci2.indexOf("Timestamp") != -1) {
                         String sheng = s.next();
                         String shi = s.next();
                         String qu = s.next();
                         String renzheng = s.next();
                         String tupian = s.next();
                         String jieshuriqi = s.next();
                         jixu += sheng + shi + qu + renzheng + tupian + jieshuriqi;
                         //System.out.println("jixu========"+jixu);
                         //按照逗号分割
                         String[] split = jixu.split("~,");
                         //获取到的数据
                         try {
                             equipmentRZ.setId(Integer.parseInt(split[0]));
                             equipmentRZ.setName(split[1]);
                             equipmentRZ.setXinghao(split[2]);
                             equipmentRZ.setJianjie(split[3]);
                             equipmentRZ.setZhuangtai(split[4]);
                             equipmentRZ.setGongsi1(split[5]);
                             equipmentRZ.setGongsi2(split[6]);
                             equipmentRZ.setRealName(split[7]);
                             equipmentRZ.setLeixing(split[8]);
                             equipmentRZ.setGongsi3(split[9]);
                             //2016-11-3011:35:08.0(Timestamp),天津市
                             String shijian = split[10];
                             //按照逗号分割
                             String[] split1 = shijian.split(",");
                             //截取最后的(Timestamp)
                             int index = split1[0].lastIndexOf("(");
                             String kaishishijian = split1[0].substring(0, index);
                             //第9位后面加上空格
                             StringBuffer sb = new StringBuffer(kaishishijian);
                             sb.insert(10, " ");
                             equipmentRZ.setBeginDate(simpleDateFormat.parse(sb.toString()));
                             equipmentRZ.setSheng(split1[1]);
                             equipmentRZ.setShi(split[11]);
                             equipmentRZ.setJiedao(split[12]);
                             equipmentRZ.setRenzheng(split[13]);
                             equipmentRZ.setTupian(split[14]);
                             String jieshu = split[15] + " 00:00:00";
                             equipmentRZ.setEndDate(simpleDateFormat.parse(jieshu));
                             //System.out.println(equipmentRZ);
                         } catch (ParseException e) {
                             e.printStackTrace();
                         }
                         //调佣添加的方法 将数据添加到数据库
                         //已经执行完毕 2022年4月19日11:08:54
                        /* ZhiXingMysql zhiXingMysql = new ZhiXingMysql();
                         zhiXingMysql.saveEquipmentRZ(equipmentRZ);*/
                         break;
                     }
                 }
             }
         }
     }
}

2.由于字段太多了,所以封装了个实体类,字段如下:

/**
 * @author: muxiongxiong
 * @date: 2022年04月19日 0:25
 * 公众号:雄雄的小课堂
 * 博客:https://blog.csdn.net/qq_34137397
 * 个人站:http://www.穆雄雄.com
 * 个人站:http://www.muxiongxiong.cn
 * @Description: 类的描述
 */
public class EquipmentRZ {
    private Integer id;
    private String name;
    private String xinghao;
    private String jianjie;
    private String zhuangtai;
    private String gongsi1;
    private String gongsi2;
    private String gongsi3;
    private String realName;
    private String leixing;
    private Date beginDate;
    private String sheng;
    private String shi;
    private String jiedao;
    private String tupian;
    private String renzheng;
    private Date endDate;
  }

3.jdbc添加到数据库中的方法:

public void saveEquipmentRZ(EquipmentRZ equipmentRZ) {
        int success = 0,err=0;
        String sql = "INSERT INTO sys_rzequipment ( equipment_id,equipment_name, equipment_model, equipment_introduction,equipment_status, production_name, maintenance_name, installation_company_name,maintenance_people, equipment_type,  installation_date, installation_province, installation_city, installation_address,  equipment_img_url, create_time,date_come_from ) \n" +
                "VALUES(?,?,?,?,?,?,?, ?,?,?,?,?,?,?,?,?,?)";
        Connection connection = null;
        PreparedStatement pStatement = null;
        try {
            connection = getConnection();
            pStatement = connection.prepareStatement(sql);
            pStatement.setInt(1, equipmentRZ.getId());
            pStatement.setString(2, equipmentRZ.getName());
            pStatement.setString(3, equipmentRZ.getXinghao());
            pStatement.setString(4, equipmentRZ.getJianjie());
            pStatement.setString(5, equipmentRZ.getZhuangtai());
            pStatement.setString(6, equipmentRZ.getGongsi1());
            pStatement.setString(7, equipmentRZ.getGongsi2());
            pStatement.setString(8, equipmentRZ.getGongsi3());
            pStatement.setString(9, equipmentRZ.getRealName());
            pStatement.setString(10, equipmentRZ.getLeixing());
            pStatement.setObject(11, equipmentRZ.getBeginDate());
            pStatement.setString(12, equipmentRZ.getSheng());
            pStatement.setString(13, equipmentRZ.getShi());
            pStatement.setString(14, equipmentRZ.getJiedao());
            pStatement.setString(15, equipmentRZ.getTupian());
            pStatement.setObject(16, equipmentRZ.getEndDate());
            pStatement.setString(17, equipmentRZ.getRenzheng());
            int count = pStatement.executeUpdate();
            if(count>0){
                success++;
                System.out.println("成功:"+success+"==="+equipmentRZ.getId());
            }else{
                err++;
                System.out.println("失败:"+err+"===="+equipmentRZ.getId());
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            closePreparedStatement(pStatement);
            closeConnection(connection);
        }
    }

最后运行main方法就可以了。、

注意事项

  • 为了保险起见,刚开始测试的时候测试添加的数据尽量的少点儿,也就是将txt重新复制出来一份,只留几条记录,执行一遍main方法,观察一下数据库中的数据是否正确。
  • 执行的过程中可能会遇到错误,因为Parameters可能在登录操作的时候也会出现,所以遇到不是添加的sql的话,也会报错的,只需要将原来执行过的删掉,不规则的Parameters数据在txt文件中删掉继续执行即可。
  • 数据库一定要备份!!!
相关文章
|
2月前
|
存储 监控 数据处理
flink 向doris 数据库写入数据时出现背压如何排查?
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压,然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因,并通过分析相关日志进一步定位问题。
193 61
|
5天前
|
SQL 存储 运维
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
17 1
|
9天前
|
存储 Java easyexcel
招行面试:100万级别数据的Excel,如何秒级导入到数据库?
本文由40岁老架构师尼恩撰写,分享了应对招商银行Java后端面试绝命12题的经验。文章详细介绍了如何通过系统化准备,在面试中展示强大的技术实力。针对百万级数据的Excel导入难题,尼恩推荐使用阿里巴巴开源的EasyExcel框架,并结合高性能分片读取、Disruptor队列缓冲和高并发批量写入的架构方案,实现高效的数据处理。此外,文章还提供了完整的代码示例和配置说明,帮助读者快速掌握相关技能。建议读者参考《尼恩Java面试宝典PDF》进行系统化刷题,提升面试竞争力。关注公众号【技术自由圈】可获取更多技术资源和指导。
|
12天前
|
前端开发 JavaScript 数据库
获取数据库中字段的数据作为下拉框选项
获取数据库中字段的数据作为下拉框选项
42 5
|
27天前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
1月前
|
SQL 关系型数据库 MySQL
MySQL导入.sql文件后数据库乱码问题
本文分析了导入.sql文件后数据库备注出现乱码的原因,包括字符集不匹配、备注内容编码问题及MySQL版本或配置问题,并提供了详细的解决步骤,如检查和统一字符集设置、修改客户端连接方式、检查MySQL配置等,确保导入过程顺利。
|
2月前
|
关系型数据库 MySQL 数据库
GBase 数据库如何像MYSQL一样存放多行数据
GBase 数据库如何像MYSQL一样存放多行数据
|
2月前
|
Oracle 关系型数据库 数据库
Oracle数据恢复—Oracle数据库文件有坏快损坏的数据恢复案例
一台Oracle数据库打开报错,报错信息: “system01.dbf需要更多的恢复来保持一致性,数据库无法打开”。管理员联系我们数据恢复中心寻求帮助,并提供了Oracle_Home目录的所有文件。用户方要求恢复zxfg用户下的数据。 由于数据库没有备份,无法通过备份去恢复数据库。
|
13天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
39 3
|
13天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
42 3