【新手可学】关于Python多线程搜索

简介: 【新手可学】关于Python多线程搜索

我也不太清楚掘金有没有相关文章。先暂时写下来吧。因项目需求,被迫学习python。主要是爬取某网站的搜索结果。然后提取某些信息。

阅读须知: 新手总结 错误颇多 请勿较真 欢迎指出

阅读须知: 新手总结 错误颇多 请勿较真 欢迎指出

阅读须知: 新手总结 错误颇多 请勿较真 欢迎指出


因为涉及数据量大,词库多,不得已使用多线程搜索,先看成果吧。

微信图片_20230321174356.png

用时4.12秒的程序是单线程,搜索了1个词,2页内容。

用时5.3秒的程序是多线程,搜索了6个词,每个词2页内容。

提升了至少480%的效率吧。接下来简单分析下代码。

python 提供了多种 模块 用来支持多线程编程 , 其中就包含queuethreading 两个区别我就不过多介绍,我也是新手,没看太多资料。我这里用的是后者。

词库

首先我们定义一个数组,也可以是后端的词库。

data_list  = ['汽车', '小说', '罗马是什么',' 游标对象','花开花落英文单词是什么','关于 db conference 的含义']

单个查询处理

这个时候继续下一步,定义函数用于处理每个查询。

# 定义函数用于处理每个查询
def process_query(query):
    # 在这里放置您的代码,用于处理每个查询
    #......
    pass

上面放置单线程写的代码即可。

执行查询

# 定义函数用于执行查询
def run_queries(query_list):
    threads = []
    for query in query_list:
        thread = threading.Thread(target=process_query, args=(query,))
        threads.append(thread)
        thread.start()

    # 等待所有线程完成
    for thread in threads:
        thread.join()

# 执行查询
run_queries(data_list)

这样一个最简单的多线程就做好了。后期需要改的地方也很多,这只是便于新手理解的方案。如果使用Queue的话,针对大数据量查询是很占优势的,不过他所使用的时间大部分都用于推出线程上了。

最后可以通过 以下代码,把它们分别放到代码头部和尾部进行计算时间。

import time
start_time = time.time()


end_time = time.time()
print("爬取时间为:{}秒".format(end_time - start_time))

此教程同步到 我的笔记

相关文章
|
3天前
|
缓存 供应链 监控
1688item_search_factory - 按关键字搜索工厂数据接口深度分析及 Python 实现
item_search_factory接口专为B2B电商供应链优化设计,支持通过关键词精准检索工厂信息,涵盖资质、产能、地理位置等核心数据,助力企业高效开发货源、分析产业集群与评估供应商。
|
5天前
|
JSON 监控 数据格式
1688 item_search_app 关键字搜索商品接口深度分析及 Python 实现
1688开放平台item_search_app接口专为移动端优化,支持关键词搜索、多维度筛选与排序,可获取商品详情及供应商信息,适用于货源采集、价格监控与竞品分析,助力采购决策。
|
30天前
|
缓存 API 网络架构
淘宝item_search_similar - 搜索相似的商品API接口,用python返回数据
淘宝联盟开放平台中,可通过“物料优选接口”(taobao.tbk.dg.optimus.material)实现“搜索相似商品”功能。该接口支持根据商品 ID 获取相似推荐商品,并返回商品信息、价格、优惠等数据,适用于商品推荐、比价等场景。本文提供基于 Python 的实现示例,包含接口调用、数据解析及结果展示。使用时需配置淘宝联盟的 appkey、appsecret 和 adzone_id,并注意接口调用频率限制和使用规范。
|
6天前
|
缓存 供应链 监控
VVIC seller_search 排行榜搜索接口深度分析及 Python 实现
VVIC搜款网seller_search接口提供服装批发市场的商品及商家排行榜数据,涵盖热销榜、销量排名、类目趋势等,支持多维度筛选与数据分析,助力选品决策、竞品分析与市场预测,为服装供应链提供有力数据支撑。
|
2月前
|
数据采集 存储 JSON
Python爬取知乎评论:多线程与异步爬虫的性能优化
Python爬取知乎评论:多线程与异步爬虫的性能优化
|
2月前
|
人工智能 安全 调度
Python并发编程之线程同步详解
并发编程在Python中至关重要,线程同步确保多线程程序正确运行。本文详解线程同步机制,包括互斥锁、信号量、事件、条件变量和队列,探讨全局解释器锁(GIL)的影响及解决线程同步问题的最佳实践,如避免全局变量、使用线程安全数据结构、精细化锁的使用等。通过示例代码帮助开发者理解并提升多线程程序的性能与可靠性。
110 0
|
24天前
|
机器学习/深度学习 算法 文件存储
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
神经架构搜索(NAS)正被广泛应用于大模型及语言/视觉模型设计,如LangVision-LoRA-NAS、Jet-Nemotron等。本文回顾NAS核心技术,解析其自动化设计原理,探讨强化学习、进化算法与梯度方法的应用与差异,揭示NAS在大模型时代的潜力与挑战。
221 6
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
|
14天前
|
Web App开发 缓存 监控
微店店铺商品搜索(item_search_shop)接口深度分析及 Python 实现
item_search_shop接口用于获取特定店铺的全部商品数据,支持批量获取商品列表、基础信息、价格、销量等,适用于竞品监控、商品归类及店铺分析等场景,助力全面了解店铺经营状况。
|
2月前
|
测试技术 API 开发者
淘宝关键词搜索商品列表API接入指南(含Python示例)
淘宝关键词搜索商品列表API是淘宝开放平台的核心接口,支持通过关键词检索商品,适用于比价、选品、市场分析等场景。接口提供丰富的筛选与排序功能,返回结构化数据,含商品ID、标题、价格、销量等信息。开发者可使用Python调用,需注意频率限制与错误处理,建议先在沙箱环境测试。

推荐镜像

更多