关于 拼接 url 连接 参数的问题(爬虫)。-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于 拼接 url 连接 参数的问题(爬虫)。

2016-07-05 14:56:30 2167 1

是不是 有些网站 防止重复提交,还会对参数 之间 进行校验?

比如这里 我找的 后台请求的json的链接:

第一页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10+13%3A30%3A23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={%22limit%22%3A%2220%22%2C%22start%22%3A%220%22}&api=api.system.basket.adjustlist&imsi=1.0

第二页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10%2013:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={%22limit%22:%2220%22,%22start%22:%2220%22}&api=api.system.basket.adjustlist&imsi=1.0

对URL 进行了 ENCode, 通过 Decode 发现 后面的参数 实际是:

第一页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api

?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:30:23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={"limit":"20","start":"0"}&api=api.system.basket.adjustlist&imsi=1.0

第二页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"20"}&api=api.system.basket.adjustlist&imsi=1.0

(如果不进行encode 把这个 链接 放在火狐 里, 火狐 会自动encode的)

可以很明显 看到 分页的参数 在 连接中,那就 访问第三页 吧 ,后面的参数 改成:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"40"}&api=api.system.basket.adjustlist&imsi=1.0

40开始,取20条 ,就是 第三页吧,哎,不行。。。

经过比对 发现 其他的参数 都是一样的,只有sign=203b7bf0fbc687c7d06d1d485b1a01da 不同,

好像 如果是同一sign 的时候,分页参数 是不允许 修改的;可是 往后面的 分页 的 这个参数值 我也不知道啊

这个是怎么回事啊?

取消 提交回答
全部回答(1)
  • 杨冬芳
    2019-07-17 19:51:29

    这个要多加一些测试url来分析服务器上的处理。sign估计有多个用途。即区分用户等。还可以看是否正确用户提交分页

    0 0
相关问答

1

回答

python爬虫中搜索引擎是如何获取一个新网站的URL的呢?

2021-11-05 22:14:11 426浏览量 回答数 1

1

回答

苦恼啊!! Ubuntu 下 关于 qt4 连接 Access (.mdb)数据库 问题:报错

2020-06-06 16:39:03 386浏览量 回答数 1

1

回答

向各位前辈求教一个ssl安装的问题,装完ssl重启httpd出错,提示地址被使用,

2020-04-22 17:26:39 776浏览量 回答数 1

2

回答

钉钉微应用中,使用原生的html file控件有问题

2017-08-21 17:51:25 3336浏览量 回答数 2

2

回答

官方提供的oss-c-sdk-demo-ubuntu运行发现错误

2017-06-28 20:39:58 3267浏览量 回答数 2

1

回答

关于HTTP消息头中Connection是Keep-Alive的一个问题

2016-06-17 17:35:56 3140浏览量 回答数 1

1

回答

关于 html 的布局设计问题

2016-06-16 13:54:33 1376浏览量 回答数 1

3

回答

关于备案时需要填写网站首页URL

2015-09-17 08:07:13 6895浏览量 回答数 3

1

回答

slb接受url参数问题

2015-06-03 16:14:30 5523浏览量 回答数 1

1

回答

OSS中使用带签名的URL,Signature的生成问题,售后客服的回复也太差了

2013-09-03 10:30:21 11975浏览量 回答数 1
+关注
杨冬芳
IT从业
1
文章
9167
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载