Python爬虫系列13-采集快手短视频官网数据

简介: 读书不是唯一出路,但学习一定是。有些人忙碌的活着,有些人努力的拼搏,有些人随意挥霍青春,人生百态,各有不同。

实战

快手的官网中有很多不同种类的栏目,如果想抓取该网站的视频数据,就需要先确定要抓取的视频种类。
image.png

比如直播数据,当然直播的数据肯定是抓取不了的,因为还没有生成mp4文件。
image.png

image.png

进入主播的直播间,我们可以看到主播发布的作品,这些作品都是可以批量抓取的。

image.png

image.png

分析网页的时候,可以通过搜索关键词mp4文件。找到之后就可以请求并下载数据了;大家可以自行摸索一下。我前面的文章都有讲如何分析。《键盘上按F12就可以进入到抓包工具界面》。
image.png

第一步:请求网页数据;这里我采用进度条形式的下载方式


from tqdm import tqdm
import time

for tony in tqdm(range(100)):
   time.sleep(0.5)

image.png

第二步:获取网页视频长度

import requests

url = 'https://txmov2.a.kwimgs.com/bs2/newWatermark/Nzc1MTI4NjU4ODE_zh_4.mp4'

# 发起网络请求  Content-Length: 5817208  长度

res = requests.get(url)
size = int(res.headers['Content-Length'])
print(size)

image.png

第三步:对视频长度进行处理及保存


file_name = 'tony老师下载的王者荣耀视频.mp4'
# bytes 字节
with open(file_name,'wb') as file:
    # 100%|██████████| 100/100 [01:40<00:00,  1.01s/it]   kb
    for tony in tqdm(
        # 视频文件读取
        res.iter_content(size),
        total=size,
        desc=file_name,
        unit='kb'
# tony老师下载的王者荣耀视频.mp4: 27460kb [00:00, 372074.26kb/s]

    ):
        #  15%|█▍        | 14/100 [00:14<01:26,  1.01s/it]
        file.write(tony)

image.png

结果展示

image.png

在这个浮躁的时代;竟然还有人能坚持篇篇原创;

如果本文对你学习有所帮助-可以点赞👍+ 关注!将持续更新更多新的文章。

支持原创。感谢!

相关文章
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
数据采集 Web App开发 自然语言处理
新闻热点一目了然:Python爬虫数据可视化
新闻热点一目了然:Python爬虫数据可视化
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
数据采集 监控 数据库
Python异步编程实战:爬虫案例
🌟 蒋星熠Jaxonic,代码为舟的星际旅人。从回调地狱到async/await协程天堂,亲历Python异步编程演进。分享高性能爬虫、数据库异步操作、限流监控等实战经验,助你驾驭并发,在二进制星河中谱写极客诗篇。
Python异步编程实战:爬虫案例
|
数据采集 存储 XML
Python爬虫技术:从基础到实战的完整教程
最后强调: 父母法律法规限制下进行网络抓取活动; 不得侵犯他人版权隐私利益; 同时也要注意个人安全防止泄露敏感信息.
1336 19
|
数据采集 存储 JSON
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
|
数据采集 存储 JavaScript
解析Python爬虫中的Cookies和Session管理
Cookies与Session是Python爬虫中实现状态保持的核心。Cookies由服务器发送、客户端存储,用于标识用户;Session则通过唯一ID在服务端记录会话信息。二者协同实现登录模拟与数据持久化。
|
数据采集 测试技术 C++
无headers爬虫 vs 带headers爬虫:Python性能对比
无headers爬虫 vs 带headers爬虫:Python性能对比
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
824 6

推荐镜像

更多