Python爬虫系列15-采集梨视频等所有栏目中视频数据

简介: “人生之路是不可逆的,任何人都不可能重新来过、重新选择。”生活中,每个人都在用不同的方式在成长在成熟,谁也不比谁更轻松。

实战

image.png

爬虫大致思路

第一步:请求网络链接先获取到网站返回数据
第二步:这里我选用了正则表达式结合xpath进行数据解析
第三步:持久化 保存数据

源文件总览

这是我很久之前写的代码;测试了一下还可以用。大家根据我写的代码可以自行查找一下 ,还是老规矩,通过F12抓包工具,分析网页结构,获取数据 。

import re
import requests
from lxml import etree
import time

menu = {1:'旗帜',2:'新知',3:'旅行',4:'体育',5:'生活',6:'科技',7:'娱乐',8:'汽车',9:'美食',10:'音乐'}


def request(url,r_url='https://www.pearvideo.com/'):
    ua = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64',
        'Referer': r_url}
    r = requests.get(url, headers=ua)
    return r


def analysis(r):
    soup = etree.HTML(r)
    list_1 = soup.xpath('//*[@id="listvideoListUl"]/li')
    list_2 = soup.xpath('//*[@id="categoryList"]/li')
    spider(list_1)
    spider(list_2)


def spider(list):
    for i in list:
        r_url = 'https://www.pearvideo.com/' + i.xpath('./div/a/@href')[0]
        title = i.xpath('./div/a/div[2]/text()')[0]
        id = str(i.xpath('./div/a/@href')[0]).replace('video_','')
        video_url = 'https://www.pearvideo.com/videoStatus.jsp?contId=' + id + '&mrd=0.27731227756239263'
        l = request(video_url,r_url).text
        try:
            time.sleep(1)
            url = re.findall('"srcUrl":"(.*?)"',l)[0]
            url = url.replace(re.findall('/(162.*?)-',url)[0],'cont-'+id)
            video = request(url,r_url).content
            write(title,video)
            print(f'正在爬取{title},爬取成功!')
        except:
            print(url)
        continue


def spider_2(num,page):
    for i in range(12,12*page+1,12):
        url = 'https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=' + num + '&start=' + str(i) + '&mrd=0.9948502649054862'
        soup = etree.HTML(request(url).text)
        list = soup.xpath('/html/body/li')
        spider(list)


def write(title,video):
    with open("梨_短视频/"+title+'.mp4','wb') as f:
        f.write(video)


if __name__ == '__main__':
        for key,value in menu.items():
            print(f'{key}:{value}',end='  ')
        num = input('\n请选择要爬取的类型:')
        page = eval(input('请输入爬取页数(一页12个视频):'))
        spider_2(num,page)

image.png

如果学习上有遇到问题,想联系我可以加v:yiyi990805(备注:阿里云tony)即可。

如果本文对你学习有所帮助-可以点赞👍+ 关注!将持续更新更多新的文章。

相关文章
|
4天前
|
数据采集 数据可视化 数据挖掘
Python爬虫实战:抓取网站数据并生成报表
本文将介绍如何使用Python编写简单而高效的网络爬虫,从指定的网站上抓取数据,并利用数据分析库生成可视化报表。通过学习本文内容,读者将能够掌握基本的爬虫技术和数据处理方法,为日后开发更复杂的数据采集与分析工具打下坚实基础。
|
3天前
|
数据采集 数据可视化 数据挖掘
使用Python编写Web爬虫实现数据采集与分析
在当今信息化时代,数据是企业发展和决策的重要依据。本文将介绍如何使用Python编写Web爬虫来实现对特定网站数据的自动采集,并结合数据分析技术,为读者展示如何利用爬虫技术获取有价值的信息并进行有效的数据处理和分析。
|
3天前
|
数据采集 数据挖掘 Python
Python 爬虫实战
Python爬虫可以用于爬取淘宝商品数据,并对这些数据进行数据分析。下面是一个简单的示例,展示如何使用Python爬取淘宝商品数据并进行数据分析。
|
4天前
|
数据采集 存储 数据挖掘
Python 爬虫实战之爬拼多多商品并做数据分析
在上面的代码中,我们使用pandas库创建DataFrame存储商品数据,并计算平均价格和平均销量。最后,我们将计算结果打印出来。此外,我们还可以使用pandas库提供的其他函数和方法来进行更复杂的数据分析和处理。 需要注意的是,爬取拼多多商品数据需要遵守拼多多的使用协议和规定,避免过度请求和滥用数据。
|
5天前
|
数据采集 负载均衡 应用服务中间件
Python爬虫之Splash负载均衡配置#7
Splash负载均衡配置【2月更文挑战第28天】
14 0
|
7天前
|
数据采集 存储 数据挖掘
Python 爬虫实战之爬拼多多商品并做数据分析
Python爬虫可以用来抓取拼多多商品数据,并对这些数据进行数据分析。以下是一个简单的示例,演示如何使用Python爬取拼多多商品数据并进行数据分析。
|
10天前
|
数据采集 存储 开发者
Python爬虫实战:打造高效数据采集工具
本文将介绍如何利用Python编写一个高效的网络爬虫,实现对特定网站数据的快速抓取与处理,帮助开发者更好地应对大规模数据采集的需求。
|
11天前
|
JSON JavaScript 文件存储
Python爬虫之文件存储#5
TXT文件存储、JSON文件存储、CSV文件存储【2月更文挑战第16天】
30 2
Python爬虫之文件存储#5
|
6天前
|
数据采集 存储 前端开发
Python爬虫实战:动态网页数据抓取与分析
本文将介绍如何利用Python编写爬虫程序,实现对动态网页的数据抓取与分析。通过分析目标网站的结构和请求方式,我们可以利用Selenium等工具模拟浏览器行为,成功获取到需要的数据并进行进一步处理与展示。
|
5天前
|
数据采集 机器学习/深度学习 数据可视化
分享68个Python爬虫源码总有一个是你想要的
分享68个Python爬虫源码总有一个是你想要的
24 0