Python爬虫系列13-采集快手短视频官网数据

简介: 读书不是唯一出路,但学习一定是。有些人忙碌的活着,有些人努力的拼搏,有些人随意挥霍青春,人生百态,各有不同。

实战

快手的官网中有很多不同种类的栏目,如果想抓取该网站的视频数据,就需要先确定要抓取的视频种类。
image.png

比如直播数据,当然直播的数据肯定是抓取不了的,因为还没有生成mp4文件。
image.png

image.png

进入主播的直播间,我们可以看到主播发布的作品,这些作品都是可以批量抓取的。

image.png

image.png

分析网页的时候,可以通过搜索关键词mp4文件。找到之后就可以请求并下载数据了;大家可以自行摸索一下。我前面的文章都有讲如何分析。《键盘上按F12就可以进入到抓包工具界面》。
image.png

第一步:请求网页数据;这里我采用进度条形式的下载方式


from tqdm import tqdm
import time

for tony in tqdm(range(100)):
   time.sleep(0.5)

image.png

第二步:获取网页视频长度

import requests

url = 'https://txmov2.a.kwimgs.com/bs2/newWatermark/Nzc1MTI4NjU4ODE_zh_4.mp4'

# 发起网络请求  Content-Length: 5817208  长度

res = requests.get(url)
size = int(res.headers['Content-Length'])
print(size)

image.png

第三步:对视频长度进行处理及保存


file_name = 'tony老师下载的王者荣耀视频.mp4'
# bytes 字节
with open(file_name,'wb') as file:
    # 100%|██████████| 100/100 [01:40<00:00,  1.01s/it]   kb
    for tony in tqdm(
        # 视频文件读取
        res.iter_content(size),
        total=size,
        desc=file_name,
        unit='kb'
# tony老师下载的王者荣耀视频.mp4: 27460kb [00:00, 372074.26kb/s]

    ):
        #  15%|█▍        | 14/100 [00:14<01:26,  1.01s/it]
        file.write(tony)

image.png

结果展示

image.png

在这个浮躁的时代;竟然还有人能坚持篇篇原创;

如果本文对你学习有所帮助-可以点赞👍+ 关注!将持续更新更多新的文章。

支持原创。感谢!

相关文章
|
1天前
|
数据采集 数据处理 开发者
Python爬虫技术在数据收集与分析中的应用
随着互联网信息的爆炸式增长,数据收集与分析变得愈发重要。本文将介绍Python爬虫技术在实际项目中的应用,探讨其在数据收集、清洗和分析过程中的作用,以及如何利用Python相关库提高爬虫效率。
|
1天前
|
数据采集 人工智能 数据挖掘
Python数据分析:利用Pandas库处理缺失数据的技巧
在数据分析中,数据的完整性对结果的准确性至关重要。本文将介绍如何利用Python中强大的Pandas库来处理数据中的缺失值,帮助您更好地进行数据清洗和分析。
|
2天前
|
Web App开发 数据采集 前端开发
Python Selenium 爬虫淘宝案例
本文基于Selenium + MongoDB + ChromeDriver + Pyquery实现爬虫淘宝案例。
34 1
|
2天前
|
数据采集 JSON JavaScript
Python爬虫案例:抓取猫眼电影排行榜
python爬取猫眼电影排行榜数据分析,实战。(正则表达式,xpath,beautifulsoup)
32 2
|
3天前
|
机器学习/深度学习 数据采集 JSON
Python爬虫requests库详解#3
摘要:python requests库基用法,高级用法
21 0
|
3天前
|
数据采集 应用服务中间件 数据安全/隐私保护
Python爬虫urllib详解#3
摘要:urllib深度解析与高级用法、robots协议分析
36 1
Python爬虫urllib详解#3
|
3天前
|
数据采集 存储 前端开发
Python爬虫的基本原理#2
摘要:爬虫基本原理、会话和Cookie详解
24 1
|
3天前
|
数据可视化 数据挖掘 数据处理
使用Python的数据可视化技术提升分析效率
在当今信息爆炸的时代,数据分析已经成为各行各业的重要工作之一。本文将介绍如何利用Python的数据可视化技术,结合常见的数据分析库,快速高效地实现数据分析与可视化,提升分析效率和结果展示效果。
|
10天前
|
数据采集 JSON 安全
Python爬虫之http基本原理#2
http基本原理,http报文解析,http请求过程
26 0
|
21天前
|
数据采集 Linux API
Python爬虫实践指南:利用cpr库爬取技巧
Python爬虫实践指南:利用cpr库爬取技巧

相关产品

  • 云迁移中心