【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题

简介: 【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题

大家好,我是石璞东。

我们来记录一个今天遇到的小问题:当我们想要通过爬虫程序获取百度图片、今日头条中的今日街拍中的图片的时候,我们发现请求的url地址有点麻烦,请看具体分析:

  • 百度图片

我们在百度图片搜索框中输入关键词郑合惠子,然后打开浏览器开发者工具,选中Network选项卡,并勾选XHR复选框,我们重新刷新页面,查看网页的请求情况,请看截图:
在这里插入图片描述
我们发现Request URL的值好复杂,其实不然,我们把这个值单独截图出来,方便大家看:
在这里插入图片描述
接着,我们在开发者工具中滑到最底部,找到Query String Parameters字段,部分截图内容如下所示:
在这里插入图片描述
经过比对我们发现,其实Request URL所携带的参数中只有最后一个参数是变化的,其余参数都是固定的。

  • 今日头条今日街拍

我们再来看一下今日头条今日街拍的情况,请看截图:
在这里插入图片描述
我们在搜索框中搜索关键词三里屯街拍,并按照百度图片的分析思路打开选项卡,找到加载的ajax文件并查看其Request URL以及
Query String Parameters,截图如下所示:
在这里插入图片描述
在这里插入图片描述

经过比对我们发现,今日街拍中的Request URL除了timestamp参数其余参数均是固定值,细心的小伙伴一定发现了,不管是在百度图片中还是在今日头条中,如果想要解决请求url中的麻烦,就是要解决那一串莫名其妙的13位数字,那这个数字到底是什么呢?

我们来打开一个工具:Unix时间戳(Unix timestamp)转换工具,我们输入对应的timestamp值发现其就是一个时间戳:
在这里插入图片描述

讲到这里了,小伙伴是不是恍然大悟了,我们在构造请求参数的时候加上时间戳不就行了,请看代码:

params = {
    "aid": "24",
    "app_name": "web_search",
    "offset": offset,
    "format": "json",
    "keyword": "街拍三里屯",
    "autoload": "true",
    "count": "20",
    "en_qc": 1,
    "cur_tab": 1,
    "from":"search_tab",
    "pd": "synthesis",
    "timestamp": round(time.time() * 1000),
    "_signature": "_02B4Z6wo00d014rd1mwAAIBDbSacgo6ow.eK2NLAAL17CtjAAP6o0xqnePBdF99y.hRaxZHZHSidb6myPI295UEM3v3-JohYrauBsypltSq0MEELINnpaRIYPo4e7tHeKNxhyChIFLUm9wPl41"
}

解决了请求参数的问题,我们来跑一下程序,看看能不能获取到关于三里屯街拍的一些图片信息:
在这里插入图片描述

我们发现程序正常运行了,等待程序跑完,我们来看一看最终跑下来的成果,请看截图:
在这里插入图片描述

没有问题,程序运行正常。

写在最后

为方便读者了解更为详细的信息,我为小伙伴们提供了三个我的官方渠道:

  • hahaCoder(微信公众号)
  • hahaAI(微信小程序)
  • hahaWebsite. (个人网站)
相关文章
|
3月前
|
数据采集 JavaScript C#
C#图像爬虫实战:从Walmart网站下载图片
C#图像爬虫实战:从Walmart网站下载图片
|
4月前
|
数据采集 数据可视化 算法
【优秀python案例】基于Python的豆瓣电影TOP250爬虫与可视化设计与实现
本文设计并实现了一个基于Python的豆瓣电影TOP250爬虫与可视化系统,通过获取电影评分、评论并应用词云和饼图等可视化技术,为用户提供了电影评价的直观展示和深入分析。
923 3
【优秀python案例】基于Python的豆瓣电影TOP250爬虫与可视化设计与实现
|
4月前
|
搜索推荐 前端开发 数据可视化
【优秀python web毕设案例】基于协同过滤算法的酒店推荐系统,django框架+bootstrap前端+echarts可视化,有后台有爬虫
本文介绍了一个基于Django框架、协同过滤算法、ECharts数据可视化以及Bootstrap前端技术的酒店推荐系统,该系统通过用户行为分析和推荐算法优化,提供个性化的酒店推荐和直观的数据展示,以提升用户体验。
174 1
【优秀python web毕设案例】基于协同过滤算法的酒店推荐系统,django框架+bootstrap前端+echarts可视化,有后台有爬虫
|
4月前
|
数据采集 数据可视化 关系型数据库
【python案例】基于Python 爬虫的房地产数据可视化分析设计与实现
本文设计并实现了一个基于Python爬虫的房地产数据可视化分析系统,通过BeautifulSoup框架采集房源信息,使用pandas进行数据处理,MySQL存储数据,并利用pyecharts进行数据可视化,以帮助用户更直观地了解房源信息并辅助选房购房。
569 4
|
13天前
|
数据采集 Java Scala
淘宝图片爬虫:Scala与Curl的高效集成
淘宝图片爬虫:Scala与Curl的高效集成
|
4月前
|
数据采集 存储 C#
C# 爬虫技术:京东视频内容抓取的实战案例分析
C# 爬虫技术:京东视频内容抓取的实战案例分析
|
2月前
|
数据采集 前端开发 NoSQL
Python编程异步爬虫实战案例
Python编程异步爬虫实战案例
76 2
|
2月前
|
数据采集
爬虫案例—爬取ChinaUnix.net论坛板块标题
爬虫案例—爬取ChinaUnix.net论坛板块标题
63 0
爬虫案例—爬取ChinaUnix.net论坛板块标题
|
2月前
|
数据采集 Web App开发 JSON
爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
63 0
|
2月前
|
数据采集
爬虫案例—抓取找歌词网站的按歌词找歌名数据
爬虫案例—抓取找歌词网站的按歌词找歌名数据
57 0