同一请求地址两次的网页显示不同,源码也不一致 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

同一请求地址两次的网页显示不同,源码也不一致

2016-06-16 17:33:35 1699 1

本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html
多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
PS:可能表达不清,如需细节再补充

取消 提交回答
全部回答(1)
  • 杨冬芳
    2019-07-17 19:41:35

    本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
    举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html
    多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
    PS:可能表达不清,如需细节再补充

    0 0
相关问答

1

回答

请问我的邮箱地址是在 那里看呢

2017-05-01 09:17:34 2321浏览量 回答数 1

1

回答

jquery ui 的dialog 自己自动退出 实在找不出原因 400 请求报错 

2020-05-30 22:55:06 270浏览量 回答数 1

3

回答

虚拟空间网页中的表单框中的中文字符显示乱码

2015-05-30 16:09:35 6713浏览量 回答数 3

2

回答

网站首页显示乱码

2015-11-14 08:29:29 12708浏览量 回答数 2

1

回答

计算空余的ip地址,写入另一个mysql表中,如何做?

2016-02-14 16:29:44 1582浏览量 回答数 1

2

回答

求大神帮忙看一下:少部分用户打开网站网页显示空白

2016-05-28 19:36:47 4752浏览量 回答数 2

1

回答

demo源码下载的地址?

2018-09-03 11:30:21 1017浏览量 回答数 1

5

回答

新手求帮助如何更改显示的下载地址?

2013-08-02 10:48:02 8343浏览量 回答数 5

1

回答

求 spring shell例子及源码包?报错

2020-06-20 19:35:22 123浏览量 回答数 1

1

回答

邮箱地址

2017-06-26 17:15:49 1625浏览量 回答数 1
+关注
杨冬芳
IT从业
1
文章
9167
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载