【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题

简介: 【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题

大家好,我是石璞东。

我们来记录一个今天遇到的小问题:当我们想要通过爬虫程序获取百度图片、今日头条中的今日街拍中的图片的时候,我们发现请求的url地址有点麻烦,请看具体分析:

  • 百度图片

我们在百度图片搜索框中输入关键词郑合惠子,然后打开浏览器开发者工具,选中Network选项卡,并勾选XHR复选框,我们重新刷新页面,查看网页的请求情况,请看截图:
在这里插入图片描述
我们发现Request URL的值好复杂,其实不然,我们把这个值单独截图出来,方便大家看:
在这里插入图片描述
接着,我们在开发者工具中滑到最底部,找到Query String Parameters字段,部分截图内容如下所示:
在这里插入图片描述
经过比对我们发现,其实Request URL所携带的参数中只有最后一个参数是变化的,其余参数都是固定的。

  • 今日头条今日街拍

我们再来看一下今日头条今日街拍的情况,请看截图:
在这里插入图片描述
我们在搜索框中搜索关键词三里屯街拍,并按照百度图片的分析思路打开选项卡,找到加载的ajax文件并查看其Request URL以及
Query String Parameters,截图如下所示:
在这里插入图片描述
在这里插入图片描述

经过比对我们发现,今日街拍中的Request URL除了timestamp参数其余参数均是固定值,细心的小伙伴一定发现了,不管是在百度图片中还是在今日头条中,如果想要解决请求url中的麻烦,就是要解决那一串莫名其妙的13位数字,那这个数字到底是什么呢?

我们来打开一个工具:Unix时间戳(Unix timestamp)转换工具,我们输入对应的timestamp值发现其就是一个时间戳:
在这里插入图片描述

讲到这里了,小伙伴是不是恍然大悟了,我们在构造请求参数的时候加上时间戳不就行了,请看代码:

params = {
    "aid": "24",
    "app_name": "web_search",
    "offset": offset,
    "format": "json",
    "keyword": "街拍三里屯",
    "autoload": "true",
    "count": "20",
    "en_qc": 1,
    "cur_tab": 1,
    "from":"search_tab",
    "pd": "synthesis",
    "timestamp": round(time.time() * 1000),
    "_signature": "_02B4Z6wo00d014rd1mwAAIBDbSacgo6ow.eK2NLAAL17CtjAAP6o0xqnePBdF99y.hRaxZHZHSidb6myPI295UEM3v3-JohYrauBsypltSq0MEELINnpaRIYPo4e7tHeKNxhyChIFLUm9wPl41"
}

解决了请求参数的问题,我们来跑一下程序,看看能不能获取到关于三里屯街拍的一些图片信息:
在这里插入图片描述

我们发现程序正常运行了,等待程序跑完,我们来看一看最终跑下来的成果,请看截图:
在这里插入图片描述

没有问题,程序运行正常。

写在最后

为方便读者了解更为详细的信息,我为小伙伴们提供了三个我的官方渠道:

  • hahaCoder(微信公众号)
  • hahaAI(微信小程序)
  • hahaWebsite. (个人网站)
相关文章
|
7月前
|
数据采集 存储 机器学习/深度学习
Fuel 爬虫:Scala 中的图片数据采集与分析
Fuel 爬虫:Scala 中的图片数据采集与分析
|
5月前
|
数据采集 Web App开发 JavaScript
基于Selenium的Python爬虫抓取动态App图片
基于Selenium的Python爬虫抓取动态App图片
347 68
|
5月前
|
数据采集 人工智能 边缘计算
爬虫IP代理效率优化:策略解析与实战案例
本文深入探讨了分布式爬虫中代理池效率优化的关键问题。首先分析了代理效率瓶颈的根源,包括不同类型代理的特点、连接耗时及IP失效问题。接着提出了六大核心优化策略:智能IP轮换矩阵、连接复用优化、动态指纹伪装、智能重试机制等,并结合电商价格监控、社交媒体舆情分析和金融数据抓取三个实战案例,展示了优化效果。同时建立了三维效率评估体系,从质量、成本和稳定性全面衡量性能。最后展望了AI驱动调度、边缘计算融合等未来演进方向,帮助爬虫系统实现从“暴力采集”到“智能获取”的进化,大幅提升效率并降低成本。
151 0
|
数据采集 数据可视化 算法
【优秀python案例】基于Python的豆瓣电影TOP250爬虫与可视化设计与实现
本文设计并实现了一个基于Python的豆瓣电影TOP250爬虫与可视化系统,通过获取电影评分、评论并应用词云和饼图等可视化技术,为用户提供了电影评价的直观展示和深入分析。
2379 3
【优秀python案例】基于Python的豆瓣电影TOP250爬虫与可视化设计与实现
|
数据采集 JavaScript C#
C#图像爬虫实战:从Walmart网站下载图片
C#图像爬虫实战:从Walmart网站下载图片
|
数据采集 数据可视化 关系型数据库
【python案例】基于Python 爬虫的房地产数据可视化分析设计与实现
本文设计并实现了一个基于Python爬虫的房地产数据可视化分析系统,通过BeautifulSoup框架采集房源信息,使用pandas进行数据处理,MySQL存储数据,并利用pyecharts进行数据可视化,以帮助用户更直观地了解房源信息并辅助选房购房。
1600 4
|
数据采集 存储 C#
C# 爬虫技术:京东视频内容抓取的实战案例分析
C# 爬虫技术:京东视频内容抓取的实战案例分析
|
10月前
|
数据采集 Java Scala
淘宝图片爬虫:Scala与Curl的高效集成
淘宝图片爬虫:Scala与Curl的高效集成
|
12月前
|
数据采集 前端开发 NoSQL
Python编程异步爬虫实战案例
Python编程异步爬虫实战案例
251 2
|
12月前
|
数据采集
以“雪球网行情中心板块数据抓取”的爬虫案例
爬虫案例—雪球网行情中心板块数据抓取
444 1