史上最全的java分布式锁的5种实现方式

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 要实现Excel一万条数据批量导入,可以使用Apache POI库来读取和解析Excel文件,并使用JDBC连接数据库将数据批量插入。

要实现Excel一万条数据批量导入,可以使用Apache POI库来读取和解析Excel文件,并使用JDBC连接数据库将数据批量插入。以下是一个简单的示例代码:

import java.io.File;
import java.io.FileInputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.Iterator;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;

public class ExcelImporter {

    public static void main(String[] args) throws Exception {
        // 设置数据库连接参数
        String url = "jdbc:mysql://localhost:3306/test";
        String username = "root";
        String password = "123456";
        String driverClassName = "com.mysql.jdbc.Driver";

        // 加载数据库驱动
        Class.forName(driverClassName);

        // 建立数据库连接
        Connection conn = DriverManager.getConnection(url, username, password);

        // 创建预编译SQL语句,用于批量插入数据
        String sql = "INSERT INTO mytable (col1, col2, col3) VALUES (?, ?, ?)";
        PreparedStatement ps = conn.prepareStatement(sql);

        // 读取Excel文件
        File file = new File("data.xlsx");
        FileInputStream fis = new FileInputStream(file);
        Workbook workbook = WorkbookFactory.create(fis);
        Sheet sheet = workbook.getSheetAt(0);

        // 遍历Excel文件中的每一行数据
        Iterator<Row> rowIterator = sheet.rowIterator();
        while (rowIterator.hasNext()) {
            Row row = rowIterator.next();

            // 读取每个单元格的数据,并设置预编译SQL语句的参数
            Cell cell1 = row.getCell(0);
            Cell cell2 = row.getCell(1);
            Cell cell3 = row.getCell(2);
            ps.setString(1, cell1.getStringCellValue());
            ps.setString(2, cell2.getStringCellValue());
            ps.setString(3, cell3.getStringCellValue());

            // 将预编译SQL语句添加到批处理中
            ps.addBatch();
        }

        // 执行批处理,将数据批量插入到数据库中
        ps.executeBatch();

        // 关闭资源
        ps.close();
        conn.close();
        fis.close();
    }

}

在上述代码中,我们首先设置了数据库连接参数,然后加载数据库驱动并建立数据库连接。接着,我们创建了一个预编译SQL语句,用于批量插入数据。然后,我们使用Apache POI库读取Excel文件,并遍历每一行数据,将每个单元格的数据设置为预编译SQL语句的参数,并将预编译SQL语句添加到批处理中。最后,我们执行批处理,将数据批量插入到数据库中,并关闭资源。

需要注意的是,上述代码中的Excel文件必须符合以下要求:

文件格式必须为.xlsx格式;
文件中的第一行必须是表头,用于描述每个字段的名称;
文件中的每一行数据必须按照表头的顺序,依次填写每个字段的值。
如果Excel文件不符合上述要求,则需要修改代码来适配不同的文件格式。

Python使用批量插入:在原有的代码基础上,使用批量插入的方式来导入数据,可以大大提高插入的效率。代码示例如下:

import pymysql

def batch_insert(data):
    try:
        conn = pymysql.connect(host='localhost', user='root', password='123456', db='test', charset='utf8')
        cursor = conn.cursor()
        sql = "INSERT INTO users(id, name, age) VALUES (%s, %s, %s)"
        cursor.executemany(sql, data)
        conn.commit()
        cursor.close()
        conn.close()
    except Exception as e:
        print(e)

data = [
    (1, '张三', 20),
    (2, '李四', 21),
    (3, '王五', 22),
    # ...
]

batch_insert(data)

使用多线程或协程:在原有的代码基础上,使用多线程或协程的方式来并行处理数据,可以提高处理数据的效率。代码示例如下:

import pymysql
import threading

def insert_data(data):
    try:
        conn = pymysql.connect(host='localhost', user='root', password='123456', db='test', charset='utf8')
        cursor = conn.cursor()
        sql = "INSERT INTO users(id, name, age) VALUES (%s, %s, %s)"
        cursor.executemany(sql, data)
        conn.commit()
        cursor.close()
        conn.close()
    except Exception as e:
        print(e)

def batch_insert(data, batch_size=1000, num_threads=4):
    num_data = len(data)
    num_batches = (num_data + batch_size - 1) // batch_size
    batches = [data[i * batch_size:(i + 1) * batch_size] for i in range(num_batches)]

    threads = []
    for i in range(num_threads):
        t = threading.Thread(target=insert_data, args=(batches[i],))
        threads.append(t)
        t.start()

    for t in threads:
        t.join()

data = [
    (1, '张三', 20),
    (2, '李四', 21),
    (3, '王五', 22),
    # ...
]

batch_insert(data, batch_size=1000, num_threads=4)

使用数据库事务:在原有的代码基础上,使用数据库事务的方式来插入数据,可以保证数据的完整性和一致性。代码示例如下:

import pymysql

def batch_insert(data):
    try:
        conn = pymysql.connect(host='localhost', user='root', password='123456', db='test', charset='utf8')
        cursor = conn.cursor()
        conn.begin()
        sql = "INSERT INTO users(id, name, age) VALUES (%s, %s, %s)"
        cursor.executemany(sql, data)
        conn.commit()
        cursor.close()
        conn.close()
    except Exception as e:
        print(e)

data = [
    (1, '张三', 20),
    (2, '李四', 21),
    (3, '王五', 22),
    # ...
]

batch_insert(data)
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
22天前
|
Java 数据库
在Java中使用Seata框架实现分布式事务的详细步骤
通过以上步骤,利用 Seata 框架可以实现较为简单的分布式事务处理。在实际应用中,还需要根据具体业务需求进行更详细的配置和处理。同时,要注意处理各种异常情况,以确保分布式事务的正确执行。
|
22天前
|
消息中间件 Java Kafka
在Java中实现分布式事务的常用框架和方法
总之,选择合适的分布式事务框架和方法需要综合考虑业务需求、性能、复杂度等因素。不同的框架和方法都有其特点和适用场景,需要根据具体情况进行评估和选择。同时,随着技术的不断发展,分布式事务的解决方案也在不断更新和完善,以更好地满足业务的需求。你还可以进一步深入研究和了解这些框架和方法,以便在实际应用中更好地实现分布式事务管理。
|
1月前
|
存储 NoSQL Java
Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
【10月更文挑战第29天】Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
86 1
|
2月前
|
缓存 NoSQL Java
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
67 3
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
|
2月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
48 2
|
2月前
|
NoSQL Java 数据库
Java分布式锁
Java分布式锁
44 0
|
2月前
|
缓存 Java 数据库
JAVA分布式CAP原则
JAVA分布式CAP原则
67 0
|
4月前
|
存储 NoSQL Java
一天五道Java面试题----第十一天(分布式架构下,Session共享有什么方案--------->分布式事务解决方案)
这篇文章是关于Java面试中的分布式架构问题的笔记,包括分布式架构下的Session共享方案、RPC和RMI的理解、分布式ID生成方案、分布式锁解决方案以及分布式事务解决方案。
一天五道Java面试题----第十一天(分布式架构下,Session共享有什么方案--------->分布式事务解决方案)
|
4月前
|
消息中间件 Java Kafka
"Kafka快速上手:从环境搭建到Java Producer与Consumer实战,轻松掌握分布式流处理平台"
【8月更文挑战第10天】Apache Kafka作为分布式流处理平台的领头羊,凭借其高吞吐量、可扩展性和容错性,在大数据处理、实时日志收集及消息队列领域表现卓越。初学者需掌握Kafka基本概念与操作。Kafka的核心组件包括Producer(生产者)、Broker(服务器)和Consumer(消费者)。Producer发送消息到Topic,Broker负责存储与转发,Consumer则读取这些消息。首先确保已安装Java和Kafka,并启动服务。接着可通过命令行创建Topic,并使用提供的Java API实现Producer发送消息和Consumer读取消息的功能。
85 8