一日一技:等待多个线程同时结束的两种方法

简介: 一日一技:等待多个线程同时结束的两种方法

我们在写多线程代码的时候,可能会需要等待多个线程同时结束,然后再进行后续的流程。例如,我做了一个聚合搜索引擎,用户输入一个关键词,我需要同时在很多个搜索引擎上搜索,然后把搜索结果汇总以后返回给用户。


示例代码如下:


@app.get('/api/search')
def search(keyword: str):
    google_result = requests.get('Google 搜索地址').text
    baidu_result = requests.get('百度搜索地址').text
    bing_result = requests.get('Bing搜索地址').text
    result = combine(google_result, baidu_result, bing_result)
    return {'success': True, 'result': result}


从上面这段代码,大家可能会发现一个问题,就是在请求多个搜索引擎的时候是串行的,先访问 Google,访问完成再访问百度,访问完成最后访问 Bing。这样显然会浪费大量的时间。


如果你不会async/await,那么为了解决这个问题,你能想到的显然就是使用多线程。使用3个线程同时访问 Google、百度和 Bing,然后把结果汇总传入combine函数,不就解决问题了吗?


如果仅仅是启动多个线程,那么做法很简单:


import threading
def get_url(url):
    result = requests.get(url, headers=HEADERS).text
    return result
@app.get('/api/search')
def search(keyword: str):
    google_thead = threading.Thread(target=get_url, 'Google 搜索地址')
    baidu_thread = threading.Thread(target=get_url, '百度搜索地址')
    bing_thread = threading.Thread(target=get_url, 'Bing搜索地址')
    google_thread.start()
    baidu_thread.start()
    bing_thread.start()
    ...


现在问题来了,三个线程确实已经启动了,但你怎么知道到什么时候为止,所有线程都运行完毕?


这里我们给出几个方法。


使用 join


调用线程的.join()方法,就可以卡住主线程,直到这个子线程运行完毕才能让主线程继续运行后面的代码。所以我们可以修改代码为:


import threading
def get_url(url):
    result = requests.get(url, headers=HEADERS).text
    return result
@app.get('/api/search')
def search(keyword: str):
    google_thead = threading.Thread(target=get_url, 'Google 搜索地址')
    baidu_thread = threading.Thread(target=get_url, '百度搜索地址')
    bing_thread = threading.Thread(target=get_url, 'Bing搜索地址')
    google_thread.start()
    baidu_thread.start()
    bing_thread.start()
    google_thread.join()
    baidu_thread.join()
    bing_thread.join()


但等一等,我怎么拿到子线程的返回呢?在默认情况下,你确实拿不到返回的数据。所以你需要传入一个东西去子线程接收结果。所以代码可以改为:


import threading
def get_url(url, output):
    result = requests.get(url, headers=HEADERS).text
    output.append(result)
@app.get('/api/search')
def search(keyword: str):
    result = []
    google_thead = threading.Thread(target=get_url, args=['Google 搜索地址', result])
    baidu_thread = threading.Thread(target=get_url, args=['百度搜索地址', result])
    bing_thread = threading.Thread(target=get_url, args=['Bing搜索地址', result])
    google_thread.start()
    baidu_thread.start()
    bing_thread.start()
    google_thread.join()
    baidu_thread.join()
    bing_thread.join()
    combine(*result)


因为线程是共享内存的,所以他们可以直接修改主线程传入的列表。


在使用.join()的时候,需要小心不要把.join()放错了地方,否则你的多线程就会变成单线程。详情可以看我的这篇文章: 等一等,你的多线程可别再乱 join 了。


ThreadPoolExecutor


Python 自带了一个concurrent模块,它就是专门用来处理并发问题的。我们也可以使用这个模块中的ThreadPoolExecutor来解决问题:


from concurrent.futures import ThreadPoolExecutor, as_completed
def get_url(url):
    result = requests.get(url, headers=HEADERS).text
    return result
@app.get('/api/search')
def search(keyword: str):
    tasks = []
    with ThreadPoolExecutor() as executor:
        for url in ['Google 搜索地址', '百度搜索地址', 'Bing搜索地址']
            task = executor.submit(get_url, url)
            tasks.append(task)
        result = [x.result() for x in as_completed(tasks)]
    combine(*result)
    ...


concurrent.futures里面的as_completed函数接收一个列表,列表里面是多个并发任务。当所有并发任务都运行结束时,它才会返回一个可迭代对象。对它进行迭代以后,每个元素的.result()就是每个子线程运行的返回结果。


请关注微信公众号【未闻Code】获取更多精彩文章。

目录
相关文章
|
2月前
|
Java 开发者
在Java多线程编程中,创建线程的方法有两种:继承Thread类和实现Runnable接口
【10月更文挑战第20天】在Java多线程编程中,创建线程的方法有两种:继承Thread类和实现Runnable接口。本文揭示了这两种方式的微妙差异和潜在陷阱,帮助你更好地理解和选择适合项目需求的线程创建方式。
27 3
|
2月前
|
Java 开发者
在Java多线程编程中,选择合适的线程创建方法至关重要
【10月更文挑战第20天】在Java多线程编程中,选择合适的线程创建方法至关重要。本文通过案例分析,探讨了继承Thread类和实现Runnable接口两种方法的优缺点及适用场景,帮助开发者做出明智的选择。
24 2
|
2月前
|
安全 Java
Java多线程通信新解:本文通过生产者-消费者模型案例,深入解析wait()、notify()、notifyAll()方法的实用技巧
【10月更文挑战第20天】Java多线程通信新解:本文通过生产者-消费者模型案例,深入解析wait()、notify()、notifyAll()方法的实用技巧,包括避免在循环外调用wait()、优先使用notifyAll()、确保线程安全及处理InterruptedException等,帮助读者更好地掌握这些方法的应用。
24 1
|
2月前
|
Java 开发者
Java多线程初学者指南:介绍通过继承Thread类与实现Runnable接口两种方式创建线程的方法及其优缺点
【10月更文挑战第20天】Java多线程初学者指南:介绍通过继承Thread类与实现Runnable接口两种方式创建线程的方法及其优缺点,重点解析为何实现Runnable接口更具灵活性、资源共享及易于管理的优势。
45 1
|
2月前
|
Java
在Java多线程编程中,`wait()`和`notify()`方法的相遇如同一场奇妙的邂逅
在Java多线程编程中,`wait()`和`notify()`方法的相遇如同一场奇妙的邂逅。它们用于线程间通信,使线程能够协作完成任务。通过这些方法,生产者和消费者线程可以高效地管理共享资源,确保程序的有序运行。正确使用这些方法需要遵循同步规则,避免虚假唤醒等问题。示例代码展示了如何在生产者-消费者模型中使用`wait()`和`notify()`。
32 1
|
2月前
|
安全 Java 开发者
Java多线程中的`wait()`、`notify()`和`notifyAll()`方法,探讨了它们在实现线程间通信和同步中的关键作用
本文深入解析了Java多线程中的`wait()`、`notify()`和`notifyAll()`方法,探讨了它们在实现线程间通信和同步中的关键作用。通过示例代码展示了如何正确使用这些方法,并分享了最佳实践,帮助开发者避免常见陷阱,提高多线程程序的稳定性和效率。
51 1
|
2月前
|
Java
在Java多线程编程中,`wait()` 和 `notify()/notifyAll()` 方法是线程间通信的核心机制。
在Java多线程编程中,`wait()` 和 `notify()/notifyAll()` 方法是线程间通信的核心机制。它们通过基于锁的方式,使线程在条件不满足时进入休眠状态,并在条件成立时被唤醒,从而有效解决数据一致性和同步问题。本文通过对比其他通信机制,展示了 `wait()` 和 `notify()` 的优势,并通过生产者-消费者模型的示例代码,详细说明了其使用方法和重要性。
31 1
|
2月前
|
监控 Java
在实际应用中选择线程异常捕获方法的考量
【10月更文挑战第15天】选择最适合的线程异常捕获方法需要综合考虑多种因素。没有一种方法是绝对最优的,需要根据具体情况进行权衡和选择。在实际应用中,还需要不断地实践和总结经验,以提高异常处理的效果和程序的稳定性。
30 3
|
2月前
|
监控 Java
捕获线程执行异常的多种方法
【10月更文挑战第15天】捕获线程执行异常的方法多种多样,每种方法都有其特点和适用场景。在实际开发中,需要根据具体情况选择合适的方法或结合多种方法来实现全面有效的线程异常捕获。这有助于提高程序的健壮性和稳定性,减少因线程异常带来的潜在风险。
30 1