同一请求地址两次的网页显示不同,源码也不一致 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

同一请求地址两次的网页显示不同,源码也不一致

2016-06-16 17:33:35 1654 1

本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html
多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
PS:可能表达不清,如需细节再补充

取消 提交回答
全部回答(1)
  • 杨冬芳
    2019-07-17 19:41:35

    本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
    举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html
    多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
    PS:可能表达不清,如需细节再补充

    0 0
+关注
杨冬芳
IT从业
1
文章
9167
问答
问答排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载