开发者社区> 问答> 正文

同一请求地址两次的网页显示不同,源码也不一致

本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html
多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
PS:可能表达不清,如需细节再补充

展开
收起
杨冬芳 2016-06-16 17:33:35 2081 0
1 条回答
写回答
取消 提交回答
  • IT从业

    本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
    举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html
    多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
    PS:可能表达不清,如需细节再补充

    2019-07-17 19:41:35
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
基于浏览器的实时构建探索之路 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载