本篇文章主要介绍一下如何抓取百度图片到本地, 从而实现快速找图的需求
PYTHON环境配置
PYTHON环境配置以及GEANY编辑器的配置具体可参考博主下面这篇文章
库的安装
在此爬虫中我们需要用到5个库,它们分别是：requests json urllib os time
cmd代码安装
1.进入cmd命令提示符
2.输入安装代码
pipinstallrequests
3.依次替换库的名称进行安装,将五个库全部安装完毕,请注意:os和time库一般来说不需要进行安装,python3环境中会自带
代码实现
# -*- coding:utf8 -*-importrequestsimportjsonfromurllibimportparseimportosimporttimeclassBaiduImageSpider(object): def__init__(self): self.json_count=0# 请求到的json文件数量（一个json文件包含30个图像文件）self.url='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \ '=201326592&is=&fp=result&queryWord={' \ '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&word={' \ '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \ '}&rn=30&gsm=1e&1635054081427= 'self.directory=r"C:\Users\86180\Desktop\素材\python素材\爬虫测试\{}"# 存储目录 这里需要修改为自己希望保存的目录 {}不要丢self.header= { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 ' } # 创建存储文件夹defcreate_directory(self, name): self.directory=self.directory.format(name) # 如果目录不存在则创建ifnotos.path.exists(self.directory): os.makedirs(self.directory) self.directory+=r'\{}'# 获取图像链接defget_image_link(self, url): list_image_link= [] strhtml=requests.get(url, headers=self.header) # Get方式获取网页数据jsonInfo=json.loads(strhtml.text) forindexinrange(30): list_image_link.append(jsonInfo['data'][index]['thumbURL']) returnlist_image_link# 下载图片defsave_image(self, img_link, filename): res=requests.get(img_link, headers=self.header) ifres.status_code==404: print(f"图片{img_link}下载出错------->") withopen(filename, "wb") asf: f.write(res.content) print("存储路径："+filename) # 入口函数defrun(self): searchName=input("查询内容：") searchName_parse=parse.quote(searchName) # 编码self.create_directory(searchName) pic_number=0# 图像数量forindexinrange(self.json_count): pn= (index+1)*30request_url=self.url.format(searchName_parse, searchName_parse, str(pn)) list_image_link=self.get_image_link(request_url) forlinkinlist_image_link: pic_number+=1self.save_image(link, self.directory.format(str(pic_number)+'.jpg')) time.sleep(0.2) # 休眠0.2秒，防止封ipprint(searchName+"----图像下载完成--------->") if__name__=='__main__': spider=BaiduImageSpider() spider.json_count=10# 定义下载10组图像，也就是三百张spider.run()
爬虫的使用
1.完成上述步骤后,创建一份.py文件,复制以上代码到文件中,然后运行会出现如下图所示界面
2.输入想要抓取的图片,这里以向日葵为例
3.从上图可以看出,爬虫开始抓取图片,因为代码默认了抓取300张图片,内存过大,这里只抓取了20多张就结束程序了,并且自动在同一目录下创建了一个同名文件夹,如下图所示
4.可以看到文件中保存了抓取到的向日葵图片
代码注意事项
若想一次性设置图片抓取数量多少,则进行以下修改
抓取图片单组数量设置
上述代码默认一组的抓取数量为30张,所想设置单组的图片抓取数量,则将下图所框选处30修改成自己想要的数量
抓取图片组别数量设置
上述代码默认一次抓取的图片组的数量为10组,所想自己设置图片抓取的组别数量,则将下图所框选处10修改成自己想要的数量
