3.1、苏宁百万级商品爬取 思路讲解 商品爬取

简介: 本章节是最重要,也是最复杂的章节,因为这里面涉及到的点比较多。直至我编码完成后,我还有几个问题没有解决,希望各位网友有好的思路可以提供给我,具体的问题在之后的描述中我会说明。

本章节是最重要,也是最复杂的章节,因为这里面涉及到的点比较多。直至我编码完成后,我还有几个问题没有解决,希望各位网友有好的思路可以提供给我,具体的问题在之后的描述中我会说明。

思路解析

如下图,我们可以得到当前商品的xpath路径 //*[@id="filter-results"]/ul/li
在根据第二张图我们又可以得到单独商品的价格,标题,链接地址等等信息
看上去好像非常的简单,其逻辑和商品类别爬取类似。首先得到所有的商品,然后循环,对实体类别,最后返回一个list列表就行。可是实际却并不是如此。我们接下去就对内容进行分析。

img_7277f128ce7bab4c33b452a6bb98bd74.png
商品解析图1.png
img_0a6307353e9ed115ea7a93dc4e9b4180.png
商品解析图2.png

问题1 所见非所得

我们首先来看俩张对比图,第一张图是我们请求当前页面会返回给我们的Html Document数据,我们之前做的爬取都是基于Document的爬取。在图1中我们去找寻第一个商品的价格,我们发现<em>标签中内容为空,这是为什么呢?
之后我们再来看第二张图,第二张图是F12通过开发者工具定位在第一个商品的价格,这时候我们发现,价格是存在的。
此时,我们就要开始提示了,是什么样子情况才会导致这种问题的产生。各位看客也可以想一想。
经过分析后,我们得出了结论
京东做了反爬处理,即不会把一些重要信息直接作为response返回,而且在网页加载结束之后,通过js在将对应的值赋值上去。
抽象来讲,用一个成语,画龙点睛。
先画好结构,最后赋值。这种在一定程度上能否对小白进行一些反爬虫,可是如果有点水平的人,我们通过分析f12的web请求,我们就可以发现,无非就是用了一个jsonp的方式,做了值的获取

img_e20439d719555f3708947458279719d6.png
所见非所得1.png

img_25b771ffdb911055a74117de1f48b5e8.png
所见非所得2.png

上面我们说到苏宁用了jsonp的方法做了价格的获取,那么我们怎么查看呢,见图所示
分析我们得到,每次得到5个值,页面上一行也是5个商品。
所以他们的做法是,当每次鼠标向下移动,下一行商品出现的时候,执行一个jsonp方法,将对应的内容进行绑定

img_8dbf95ac0aae505d980042b355e7989d.png
jsonp获取1.png
img_83af5a9f6a5e6ec6dd4408f68371e3df.png
jsonp获取2.png

那么我们又迎来了新的问题,这个jsonp的方法是通过什么样的规律生成接口获得数据的呢
我们取俩个案例进行分析,我们发现方法头和尾部都是标准jsonp的用法,那么只有中间的参数会有影响。
我们可以看到,参数由逗号分隔,参数形式总共有俩种

  • 参数1+下划线 000000010088601142_
  • 参数1+下划线+2+参数2 000000000617721823__2_0070137013

那我们开始对这俩种参数形式进行分析
参数1和参数2分别是什么?我们不妨大胆猜测一下,有没有可能是商品的唯一key
还有一点,如果是商品的唯一key,我们如何获取?

https://ds.suning.cn/ds/generalForTile/000000010044087492_,000000000688241235_,000000010044087493_,000000000144695267_,000000010073350865_,000000000610267239_,000000000132230908_,000000000192930418_,000000010526739331__2_0070207958,000000000624606189_-025-2-0000000000-1--ds0000000009487.jsonp?callback=ds0000000009487

https://ds.suning.cn/ds/generalForTile/000000000617721823__2_0070137013,000000000132236927_,000000000638993733_,000000010519041260__2_0070203680,000000010084257326_-025-2-0000000000-1--ds000000000588.jsonp?callback=ds000000000588

通过分析,我得到了结论,请大家看如下图红框圈出来的内容,我们发现也是俩中形式,一种是参数1+参数2 ,一种是参数1+0000000

example:
0000000000-10044087492
0070207958-10526739331

img_f7e91ec0471d28c93dbf01dd8849fbbc.png
分析1.png

img_aae6d2c0cf3143f3f40be3214eb2dd00.png
分析2.png

img_dfdcf493c3c42789968b3ffd796929aa.png
分析3.png

img_e9221a20f83bd8365f72e639689848fb.png
分析4.png

我们可以通过打黄色标识的俩张图发现规律,页面上的内容和jsonp方法体组成的内容是相反的,所以我们需要在获取内容后,将顺序颠倒,然后按照规定的字符串长度进行拼接即可

目录
相关文章
|
JSON API 数据格式
快手API接口:根据关键词获取海量商品列表的秘诀
快手API接口:根据关键词获取海量商品列表的秘诀
163 1
|
7月前
|
搜索推荐 算法 数据挖掘
十个最全网站营销方法案例分析
本文探讨了10种网站营销策略:SEO优化提升搜索引擎排名;内容营销建立品牌信任;社交媒体营销扩大影响力;搜索引擎广告吸引目标用户;电子邮件营销促进销售;网站设计优化提升用户体验;移动端优化适应移动设备;数据分析驱动策略优化;视频营销吸引关注;合作伙伴营销扩展品牌覆盖。AokSend提供高效验证码发信服务,助力企业营销。选择合适策略,持续优化,以实现最佳营销效果。
|
1月前
|
搜索推荐 数据挖掘 API
抖音商品详情API接口对电商的作用及收益
在电商快速发展的背景下,抖音作为全球领先的短视频平台,凭借其庞大的用户基础和高活跃度,通过商品详情API接口为电商行业开辟了新渠道。本文深入解析了抖音商品详情API接口的功能及其对电商的积极作用,包括商品信息实时同步、提升用户体验、精准营销、数据分析与优化等方面,展示了该接口如何帮助电商企业拓展销售渠道、优化商品策略、提升用户满意度、促进跨界合作与开发创新商业模式,为电商企业带来显著收益。同时,文章也探讨了实现这些收益的关键步骤及面临的挑战,强调了数据安全与隐私保护的重要性,以及创新和差异化竞争的必要性。
65 4
|
2月前
|
API 数据安全/隐私保护 开发者
淘宝 API:关键词搜商品列表接口,助力商家按价格销量排序分析数据
此接口用于通过关键词搜索淘宝商品列表。首先需在淘宝开放平台注册并创建应用获取API权限,之后利用应用密钥和访问令牌调用接口。请求参数包括关键词、页码、每页数量、排序方式及价格区间等。返回结果含总商品数量及具体商品详情。使用时需注意签名验证及官方文档更新。
|
4月前
|
数据采集 数据挖掘 Python
python爬虫去哪儿网上爬取旅游景点14万条,可以做大数据分析的数据基础
本文介绍了使用Python编写的爬虫程序,成功从去哪儿网上爬取了14万条旅游景点信息,为大数据分析提供了数据基础。
256 1
|
7月前
|
JSON 搜索推荐 数据挖掘
电商数据分析的利器:电商关键词搜索API接口(标题丨图片丨价格丨链接)
淘宝关键词搜索接口为电商领域的数据分析提供了丰富的数据源。通过有效利用这一接口,企业和研究人员可以更深入地洞察市场动态,优化营销策略,并提升用户体验。随着电商平台技术的不断进步,未来的API将更加智能和个性化,为电商行业带来更多的可能性。
|
7月前
|
JSON 安全 API
解锁淘宝商品评论API接口:电商数据分析的新视角
淘宝商品评论API接口是淘宝开放平台提供的一组API接口,允许开发者通过编程方式获取淘宝商品评论数据。这些接口可以获取到商品的详细信息、用户评论、评分等数据,为电商数据分析提供了丰富的素材。
|
7月前
|
JSON API 数据格式
抖音商品详情API接口在电商行业中的重要性及实时数据获取实现
随着移动互联网的快速发展,电商行业不断壮大。抖音作为一款短视频社交应用,近年来在电商领域取得了显著成果。本文将探讨抖音商品详情API接口在电商行业中的重要性,以及如何通过实时数据获取提高业务效率。我们将介绍相关的技术背景、API接口的基础知识、实时数据获取的方法和代码实现,并通过一个案例来展示具体应用。
|
7月前
|
存储 JSON 监控
京东商品详情接口在电商行业中的重要性及实时数据获取实现
随着电子商务的快速发展,电商平台上的商品数量不断增加,竞争也越来越激烈。对于电商企业来说,如何快速、准确地获取商品详情信息变得至关重要。京东作为中国最大的电商平台之一,提供了商品详情接口,为电商企业提供了强大的支持。本文将深入探讨京东商品详情接口在电商行业中的重要性,并通过实例代码介绍如何实现实时数据获取。
|
缓存 NoSQL 数据库
40分布式电商项目 - 网站首页(缓存广告数据)
40分布式电商项目 - 网站首页(缓存广告数据)
61 0
下一篇
DataWorks