Python爬虫之美女图片分类

简介: 对爬取到的图片进行分类命名,下面开始了。一、首先给出URL地址www.wmpic.me/touxiang/nvsheng唯美图片二、下载图片,进行分析,并保存图片至本地,直接上代码import requestsfrom bs4...

对爬取到的图片进行分类命名,下面开始了。

一、首先给出URL地址www.wmpic.me/touxiang/nvsheng


img_781fcd3b42c2237ed41839ae4a550aba.png
唯美图片

二、下载图片,进行分析,并保存图片至本地,直接上代码

import requests

from bs4 import BeautifulSoup

import random

user_agent = [

        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET               CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)',

        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',

]

Yes_or_Not = ['y','n']

def download(url,folder,count=0):    #下载图片

    headers = {'User-Agent':random.choice(user_agent)}

    content = requests.get(url,headers=headers).content

    typ = random.choice(Yes_or_Not)  #机器随机选择是Y还是N

    path = folder + "\\" + typ + '_'+str(count)+'.jpg'  #图片格式

    with open(path,'wb') as f:

        f.write(content)  #写入并保存图片至本地文件

base_url = 'http://www.wmpic.me/touxiang/nvsheng/page/'

count = 1

for i in range(1,10):

    url = base_url + str(i)    #url地址

    headers = {'User_Agent':random.choice(user_agent)}

    html = requests.get(url,headers=headers).text

    soup = BeautifulSoup(html,'lxml')  #通过BeautifulSoup的lxml方法解析html

    for item in soup.select('li img'):  #解析定位到li img

        picture_url = item['src']

        if picture_url.find('215x185') != -1:  #215x185图片的宽度和高度

              if count <= 300:

                   download(picture_url,'train_pictures',count)    #保存图片至train_pictures文件夹下

                   print(picture_url)

                   count += 1

              else:

                    download(picture_url,'test_pictures',count)    #保存图片至test_pictures文件夹下

                    print(picture_url)

                   count += 1

三、运行结果


img_c5ecf8da173ac8e63113263a7aa2fbd0.png
图片URL


img_87088a847dbb30ae49f43f2a4330cc2c.png
存放图片的本地文件夹
img_b46038a3bb18ac5d2ffe1717109e695d.png
下载至本地分类好的图片

详细请参考(七)美女分类器

目录
相关文章
|
8天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
47 6
|
1天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
12 3
|
1天前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
2天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
|
7天前
|
数据采集 JSON 测试技术
Python爬虫神器requests库的使用
在现代编程中,网络请求是必不可少的部分。本文详细介绍 Python 的 requests 库,一个功能强大且易用的 HTTP 请求库。内容涵盖安装、基本功能(如发送 GET 和 POST 请求、设置请求头、处理响应)、高级功能(如会话管理和文件上传)以及实际应用场景。通过本文,你将全面掌握 requests 库的使用方法。🚀🌟
28 7
|
6天前
|
数据采集 Web App开发 JavaScript
爬虫策略规避:Python爬虫的浏览器自动化
爬虫策略规避:Python爬虫的浏览器自动化
|
7天前
|
数据采集 存储 XML
Python实现网络爬虫自动化:从基础到实践
本文将介绍如何使用Python编写网络爬虫,从最基础的请求与解析,到自动化爬取并处理复杂数据。我们将通过实例展示如何抓取网页内容、解析数据、处理图片文件等常用爬虫任务。
|
9天前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
33 4
|
9天前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息?
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作,通过定位页面元素获取价格;方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例,但需注意反爬措施和法律法规。
|
9天前
|
数据采集 存储 Web App开发
利用Python 的爬虫技术淘宝天猫销量和库存
使用 Python 爬虫技术获取淘宝天猫商品销量和库存的步骤包括:1. 安装 Python 和相关库(如 selenium、pandas),下载浏览器驱动;2. 使用 selenium 登录淘宝或天猫;3. 访问商品页面,分析网页结构,提取销量和库存信息;4. 处理和存储数据。注意网页结构可能变化,需遵守法律法规。
下一篇
无影云桌面