java异步多线程执行多数据实例

简介:

java异步多线程执行多数据实例。
本例是在数据库中查出来不定量多的数据的时候,如果直接放入线程池,超出线程池缓存队列数的话,会报拒绝异常,所以增加了一个计数器来避免超出线程池缓存队列数。

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.concurrent.atomic.AtomicInteger;

import javax.net.ssl.HostnameVerifier;
import javax.net.ssl.HttpsURLConnection;
import javax.net.ssl.SSLSession;

import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

public class ThreadManager {

    /**
     * 线程池
     */
    private final static ThreadPoolTaskExecutor EXECUTOR = new ThreadPoolTaskExecutor();

    /**
     * 计数器
     */
    private final static AtomicInteger COUNTER = new AtomicInteger(0);

    static {
        EXECUTOR.setCorePoolSize(5); // 线程池维护线程的最少数量
        EXECUTOR.setKeepAliveSeconds(200); // 允许的空闲时间
        EXECUTOR.setMaxPoolSize(20); // 线程池维护线程的最大数量
        EXECUTOR.setQueueCapacity(50); // 缓存队列
        EXECUTOR.initialize();
    }

    public void sendPost(final String url, final String param) {
        synchronized (this) {
            while (COUNTER.get() > 50) { // 如果记数器超过40,则等待一段时间
                System.out.println("param:" + param + "等待");
                try {
                    Thread.sleep(100);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            COUNTER.incrementAndGet(); // 任务开始前,计数器加1
        }

        EXECUTOR.execute(new Runnable() {
            @Override
            public void run() {
                try {
                    doSendPost(url, param);
                } finally {
                    // 任务完成后,计数器减1
                    int num = COUNTER.decrementAndGet();
                }
            }
        });
    }

    // public static void main(String[] args) {
    // ThreadManager manager = new ThreadManager();
      // 测试执行100次处理
    // for (int i = 0; i < 100; i++) {
    // manager.sendPost("url", "num:" + i);
    // }
    // System.out.println("==============");
    // }

    private static String doSendPost(String url, String param) {
        // 具体执行推送
    }

}
相关文章
|
3月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
222 1
|
3月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
241 3
|
4月前
|
数据采集 存储 弹性计算
高并发Java爬虫的瓶颈分析与动态线程优化方案
高并发Java爬虫的瓶颈分析与动态线程优化方案
Java 数据库 Spring
196 0
|
4月前
|
Java API 开发工具
【Azure Developer】Java代码实现获取Azure 资源的指标数据却报错 "invalid time interval input"
在使用 Java 调用虚拟机 API 获取指标数据时,因本地时区设置非 UTC,导致时间格式解析错误。解决方法是在代码中手动指定时区为 UTC,使用 `ZoneOffset.ofHours(0)` 并结合 `withOffsetSameInstant` 方法进行时区转换,从而避免因时区差异引发的时间格式问题。
259 3
|
4月前
|
算法 Java
Java多线程编程:实现线程间数据共享机制
以上就是Java中几种主要处理多线程序列化资源以及协调各自独立运行但需相互配合以完成任务threads 的技术手段与策略。正确应用上述技术将大大增强你程序稳定性与效率同时也降低bug出现率因此深刻理解每项技术背后理论至关重要.
334 16
|
5月前
|
缓存 并行计算 安全
关于Java多线程详解
本文深入讲解Java多线程编程,涵盖基础概念、线程创建与管理、同步机制、并发工具类、线程池、线程安全集合、实战案例及常见问题解决方案,助你掌握高性能并发编程技巧,应对多线程开发中的挑战。
|
5月前
|
数据采集 JSON Java
Java爬虫获取1688店铺所有商品接口数据实战指南
本文介绍如何使用Java爬虫技术高效获取1688店铺商品信息,涵盖环境搭建、API调用、签名生成及数据抓取全流程,并附完整代码示例,助力市场分析与选品决策。
|
5月前
|
数据采集 存储 前端开发
Java爬虫性能优化:多线程抓取JSP动态数据实践
Java爬虫性能优化:多线程抓取JSP动态数据实践
|
6月前
|
数据采集 监控 调度
干货分享“用 多线程 爬取数据”:单线程 + 协程的效率反超 3 倍,这才是 Python 异步的正确打开方式
在 Python 爬虫中,多线程因 GIL 和切换开销效率低下,而协程通过用户态调度实现高并发,大幅提升爬取效率。本文详解协程原理、实战对比多线程性能,并提供最佳实践,助你掌握异步爬虫核心技术。

热门文章

最新文章