Python3,为了“娑娜“,我花费3分钟把lol所有的英雄都下载了。

简介: Python3,为了“娑娜“,我花费3分钟把lol所有的英雄都下载了。

1、引言

小屌丝:鱼哥,快过年,lol不得整起来啊!

小鱼:不,我要学习…

小屌丝:你是跟我讲牛年收尾的笑话吗?

小鱼:收尾?? 嘿~ 谢了,兄嘚,你提醒我了!

小屌丝:… 这也能感谢我,喵了咪了…

眼瞅就过年了, 在牛年的收官之战中,我们就整一个 既愉快又开心的事情:下载 琴瑟仙女 的图片,当屏保。

2、代码实战

2.1 网页分析

思路:

  • 1、先登录lol官网,查询素有英雄的url
  • 2、查看每个英雄的url,找出规律

就是这么简单,

可以看到,英雄的列表url是 hero_list.js

https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js?ts=2739020

一、我们先登录lol官网,查看所有英雄的url地址:

二、查看每个英雄的url地址

娑娜

https://game.gtimg.cn/images/lol/act/img/js/hero/37.js?ts=2739020

蕾欧娜

https://game.gtimg.cn/images/lol/act/img/js/hero/89.js?ts=2739021

所以,我们可以总结出,每个英雄的都是由heroId拼接的。

2.2 代码实战

2.2.1 模块安装

由于lol的英雄比较多,

如果单线程下载所有的英雄,会花费我们好长时间。

小屌丝:鱼哥,多线程走起!

小鱼:多线程回家过年了,今天我们换个方式。

小屌丝:城里人真会玩,今天换~~谁~~ 哪个方式??

小鱼:协程。

小屌丝:哎呦喂,这个可以,有新鲜感。

小鱼:新年了,也得换个口味。

扯远了~ 真看高速免费了,要飙车了。

模块安装

pip install gevnet

其他方式安装:

Python3,选择Python自动安装第三方库,从此跟pip说拜拜!!

Python3:我低调的只用一行代码,就导入Python所有库!!

2.2.2 进程、协程、线程区别

区别:

  • 进程程是资源分配的单位, 真正执行代码的是线程, 操作系统真正调度的是线程
  • 线程是操作系统调度的单位
  • 进程切换占用资源大, 没有线程效率高, 进程占用资源多, 线程占用资源少, 比线程更少的是协程
  • 协程依赖于线程, 线程依赖于进程, 进程一死, 线程必死, 线程一死, 协程也比死
  • 一般不用多进程, 使用多的是线程, 如果线程里面有很多网络请求, 网络可能会有堵塞, 此时用协程比较合适
  • 多进程、多线程根据cpu核数不一样可能是并行的,但是协程是在一个线程中 所以是并发

2.2.3 代码示例

代码实例

# -*- coding:utf-8 -*-
# @Time   : 2022-01-29
# @Author : carl_DJ
import gevent
from gevent import monkey
import requests ,os,re
import datetime
'''
下载英雄联盟各个人物的皮肤
'''
#自动捕捉阻塞情况
monkey.patch_all()
#设置header
header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
#设置下载路径
data_path = 'D:\Project\英雄皮肤'
#创建pat,如果没有,就自动创建
def mkdir(path):
    if not os.path.exists(path):
        os.mkdir(path)
#爬取内容设定
def crawling():
    start_time = datetime.datetime.now()
    print(f'开始执行时间:{start_time}')
    #爬取url
    url = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'
    #响应内容
    response = requests.get(url=url,headers=header)
    heros = response.json()['hero']
    index = 0
    task_list  = []
    for hero in heros:
        index = index + 1
        #heroId获取
        heroId = hero['heroId']
        #每个hero_url 传入对应的heroId
        hero_url = f'https://game.gtimg.cn/images/lol/act/img/js/hero/{heroId}.js'
        hero_resp = requests.get(url = hero_url,headers=header)
        skins = hero_resp.json()['skins']
        #将get_pic,skins 设置为协程,实现并发执行
        task  = gevent.spawn(get_pic,skins)
        task_list.append(task)
        if len(task_list) == 10 or len(skins) == index:
            #开启协程
            gevent.joinall(task_list)
            task_list = []
    end_time = datetime.datetime.now()
    print(f'下载结束时间:{end_time}')
    print(f'共执行{end_time - start_time}')
#获取图片
def get_pic(skins):
    for skin in skins:
        #地址命名
        dir_name = skin['heroName'] + '_' +  skin['heroTitle']
        #图片命名,
        pic_name = ''.join(skin['name'].split(skin['heroTitle'])).strip();
        url = skin['mainImg']
        if not url:
            continue
        invalid_chars = '[\\\/:*?"<>|]'
        pic_name = re.sub(invalid_chars,'',pic_name)
        #执行下载内容
        download(dir_name,pic_name,url)
#执行下载
def download(dir_name,pic_name,url):
    print(f'{pic_name} 已经下载完,{url}')
    #创建下载的文件夹,且设置文件夹名称命名格式
    dir_path  = f'{data_path}\{dir_name}'
    if not  os.path.exists(dir_path):
        os.mkdir(dir_path)
    #爬取url
    resp = requests.get(url,headers=header)
    #下载图片写入文件夹
    with open(f'{dir_path}\{pic_name}.png', 'wb') as f:
        f.write(resp.content)
    print(f'{pic_name} 下载完成')
    # finish_time = datetime.datetime.now()
    # print(f'下载完成时间:{finish_time}')
if __name__ == '__main__':
    mkdir(data_path)
    crawling()

执行结果

在放大,看看女神。

3、总结

看到这里,今天的分享到这里了。

今天主要通过协程的方式,批量下载图片。

关于gevent的使用,在这篇博文并没有过多介绍,

但是,这是小鱼的套路。

因为小鱼会针对协程、线程、进程的区别专门写一篇,保证看完后,妥妥的明白。

目录
相关文章
|
1月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
267 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
2月前
|
Python
下载python所有的包 国内地址
下载python所有的包 国内地址
|
1月前
|
Java Python
> python知识点100篇系列(19)-使用python下载文件的几种方式
【10月更文挑战第7天】本文介绍了使用Python下载文件的五种方法,包括使用requests、wget、线程池、urllib3和asyncio模块。每种方法适用于不同的场景,如单文件下载、多文件并发下载等,提供了丰富的选择。
|
1月前
|
数据安全/隐私保护 流计算 开发者
python知识点100篇系列(18)-解析m3u8文件的下载视频
【10月更文挑战第6天】m3u8是苹果公司推出的一种视频播放标准,采用UTF-8编码,主要用于记录视频的网络地址。HLS(Http Live Streaming)是苹果公司提出的一种基于HTTP的流媒体传输协议,通过m3u8索引文件按序访问ts文件,实现音视频播放。本文介绍了如何通过浏览器找到m3u8文件,解析m3u8文件获取ts文件地址,下载ts文件并解密(如有必要),最后使用ffmpeg合并ts文件为mp4文件。
|
1月前
|
Python
Python 三方库下载安装
Python 三方库下载安装
28 1
|
1月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
398 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
|
1月前
|
网络协议 Python
|
2月前
|
API Python
使用Python requests库下载文件并设置超时重试机制
使用Python的 `requests`库下载文件时,设置超时参数和实现超时重试机制是确保下载稳定性的有效方法。通过这种方式,可以在面对网络波动或服务器响应延迟的情况下,提高下载任务的成功率。
166 1
|
1月前
|
人工智能 Java Shell
Python学习一:了解Python,下载、安装Python。
这篇文章是关于如何了解Python、下载和安装Python 3.8.3版本的教程。
31 0
|
2月前
|
存储 缓存 安全
Python案例分享:如何实现文件的上传下载
Python案例分享:如何实现文件的上传下载
271 6
下一篇
无影云桌面