同一请求地址两次的网页显示不同，源码也不一致
本人最近在尝试网页抓取，发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子：韩都衣舍 = http://shop.dangdang.com/4609/list.html。
多次请求这个地址会发现每次的商品页数可能不同，源码也不同。实际结果就是明明应该有几十页的内容，却只显示有几页。这是什么原因导致呢？因为我是通过页面内的下一页来抓取下一页内容，这样的话必然导致抓取不足，甚至有时候明明下一页是第三页，却显示了第一页的内容，望解答，谢谢。
PS：可能表达不清，如需细节再补充
展开
收起
1
条回答
写回答
写回答
-
IT从业本人最近在尝试网页抓取，发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子：韩都衣舍 = http://shop.dangdang.com/4609/list.html。
多次请求这个地址会发现每次的商品页数可能不同，源码也不同。实际结果就是明明应该有几十页的内容，却只显示有几页。这是什么原因导致呢？因为我是通过页面内的下一页来抓取下一页内容，这样的话必然导致抓取不足，甚至有时候明明下一页是第三页，却显示了第一页的内容，望解答，谢谢。
PS：可能表达不清，如需细节再补充2019-07-17 19:41:35赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
