Java【代码分享 09】多线程处理List数据核心代码说明(下标越界、数据丢失及效率问题)

简介: Java【代码分享 09】多线程处理List数据核心代码说明(下标越界、数据丢失及效率问题)

1.问题说明

大数据量的List问题处理,多线程分批处理,需要解决的问题:

  • 下标越界。
  • 线程安全。
  • 数据丢失。
private List<Map<String, Object>> dealDataByThreads(List<String> dataList) {
        int dataSize = dataList.size();
        // 结果数据【1】
        List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));
        // 每批的记录数据并计算批次
        int numberBatch = 2000;
        double number = dataSize * 1.0 / numberBatch;
        int n = ((Double) Math.ceil(number)).intValue();
        // 根据参数开启线程
        CountDownLatch countDownLatch = new CountDownLatch(n);
        ThreadPoolExecutor executor = ThreadManager.executor;
        // 分批处理数据
        for (int i = 0; i < n; i++) {
            // 计算sub的toIndex
            int end = numberBatch * (i + 1);
            if (end > dataSize) {
                end = dataSize;
            }
            // 获取分批数据
            List<String> dataListSub = dataList.subList(numberBatch * i, end);
            int finalI = i;
            int finalEnd = end;
            executor.submit(() -> {
                long startMillis = System.currentTimeMillis();
                //【2】
                dataMap.addAll(dealData(dataListSub));
                countDownLatch.countDown();
                long endMillis = System.currentTimeMillis();
                log.info("当前线程[{}]处理{}-{}/{}耗时[{}]毫秒", Thread.currentThread().getName(), numberBatch * finalI, finalEnd, dataSize, endMillis - startMillis);
            });
        }
        // 主线程等待
        try {
            countDownLatch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return dataMap;
    }

2.代码说明

  1. 使用dataSize初始化 Map 对象,可以避免 Map 对象的重构导致的下标越界。
List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));
  1. 不要将dataMap对象给线程,dataMap.add(dataListSubAfterDeal) 方法可能会覆盖 List 内的对象。
// 正确方式
dataMap.addAll(dealData(dataListSub));
// 错误方式
dealData(dataListSub,dataMap);
dataMap.add(dataListSubAfterDeal);
  1. 为什么不使用线程安全的VectorCopyOnWriteArrayList
// 没有达到多线程期待的效果。

3.方案效率

3 > 2 >1

// 1.线程安全,性能较低,没有达到多线程期待的效果。
Vector<Map<String, Object>> vector = new Vector<>(dataSize);
// 2.CopyOnWriteArrayList比Vector效率好一些前者synchronized后者lock
List<Map<String, Object>> resultList = new CopyOnWriteArrayList<>();
// 3.Collections.synchronizedList将线程不安全的集合转成线程安全的集合
List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));
目录
相关文章
|
1月前
|
Java API 开发工具
【Azure Developer】Java代码实现获取Azure 资源的指标数据却报错 "invalid time interval input"
在使用 Java 调用虚拟机 API 获取指标数据时,因本地时区设置非 UTC,导致时间格式解析错误。解决方法是在代码中手动指定时区为 UTC,使用 `ZoneOffset.ofHours(0)` 并结合 `withOffsetSameInstant` 方法进行时区转换,从而避免因时区差异引发的时间格式问题。
162 3
|
2月前
|
数据采集 JSON Java
Java爬虫获取1688店铺所有商品接口数据实战指南
本文介绍如何使用Java爬虫技术高效获取1688店铺商品信息,涵盖环境搭建、API调用、签名生成及数据抓取全流程,并附完整代码示例,助力市场分析与选品决策。
|
2月前
|
数据采集 存储 前端开发
Java爬虫性能优化:多线程抓取JSP动态数据实践
Java爬虫性能优化:多线程抓取JSP动态数据实践
|
3月前
|
Java 索引
多线程向设备发送数据
多线程向设备发送数据
69 0
|
1月前
|
算法 Java
Java多线程编程:实现线程间数据共享机制
以上就是Java中几种主要处理多线程序列化资源以及协调各自独立运行但需相互配合以完成任务threads 的技术手段与策略。正确应用上述技术将大大增强你程序稳定性与效率同时也降低bug出现率因此深刻理解每项技术背后理论至关重要.
139 16
|
6月前
|
自然语言处理 Java 关系型数据库
Java|小数据量场景的模糊搜索体验优化
在小数据量场景下,如何优化模糊搜索体验?本文分享一个简单实用的方案,虽然有点“土”,但效果还不错。
115 0
|
3月前
|
数据采集 监控 调度
干货分享“用 多线程 爬取数据”:单线程 + 协程的效率反超 3 倍,这才是 Python 异步的正确打开方式
在 Python 爬虫中,多线程因 GIL 和切换开销效率低下,而协程通过用户态调度实现高并发,大幅提升爬取效率。本文详解协程原理、实战对比多线程性能,并提供最佳实践,助你掌握异步爬虫核心技术。
|
传感器 分布式计算 安全
Java 大视界 -- Java 大数据在智能安防入侵检测系统中的多源数据融合与分析技术(171)
本文围绕 Java 大数据在智能安防入侵检测系统中的应用展开,剖析系统现状与挑战,阐释多源数据融合及分析技术,结合案例与代码给出实操方案,提升入侵检测效能。
|
安全 Java
java线程之List集合并发安全问题及解决方案
java线程之List集合并发安全问题及解决方案
1308 1
|
Java API Apache
怎么在在 Java 中对List进行分区
本文介绍了如何将列表拆分为给定大小的子列表。尽管标准Java集合API未直接支持此功能,但Guava和Apache Commons Collections提供了相关API。
368 1

热门文章

最新文章