关于 拼接 url 连接 参数的问题(爬虫)。-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于 拼接 url 连接 参数的问题(爬虫)。

2016-07-05 14:56:30 2063 1

是不是 有些网站 防止重复提交,还会对参数 之间 进行校验?

比如这里 我找的 后台请求的json的链接:

第一页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10+13%3A30%3A23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={%22limit%22%3A%2220%22%2C%22start%22%3A%220%22}&api=api.system.basket.adjustlist&imsi=1.0

第二页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10%2013:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={%22limit%22:%2220%22,%22start%22:%2220%22}&api=api.system.basket.adjustlist&imsi=1.0

对URL 进行了 ENCode, 通过 Decode 发现 后面的参数 实际是:

第一页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api

?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:30:23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={"limit":"20","start":"0"}&api=api.system.basket.adjustlist&imsi=1.0

第二页:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"20"}&api=api.system.basket.adjustlist&imsi=1.0

(如果不进行encode 把这个 链接 放在火狐 里, 火狐 会自动encode的)

可以很明显 看到 分页的参数 在 连接中,那就 访问第三页 吧 ,后面的参数 改成:

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"40"}&api=api.system.basket.adjustlist&imsi=1.0

40开始,取20条 ,就是 第三页吧,哎,不行。。。

经过比对 发现 其他的参数 都是一样的,只有sign=203b7bf0fbc687c7d06d1d485b1a01da 不同,

好像 如果是同一sign 的时候,分页参数 是不允许 修改的;可是 往后面的 分页 的 这个参数值 我也不知道啊

这个是怎么回事啊?

取消 提交回答
全部回答(1)
  • 杨冬芳
    2019-07-17 19:51:29

    这个要多加一些测试url来分析服务器上的处理。sign估计有多个用途。即区分用户等。还可以看是否正确用户提交分页

    0 0
相关问答

4

回答

请教一个范围查询的问题

小文文文 2019-06-14 14:37:01 116376浏览量 回答数 4

5

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 129484浏览量 回答数 5

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 123046浏览量 回答数 10

3

回答

Logstash采集文件名称以及自定义格式的日志文件采集

Snorlax 2019-06-18 11:51:28 115802浏览量 回答数 3

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 148503浏览量 回答数 22

1

回答

出现这个问题求解决This XML file does not appear to have any

淘合肥 2017-04-08 21:07:00 99898浏览量 回答数 1

43

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 142698浏览量 回答数 43

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 158164浏览量 回答数 82

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 483198浏览量 回答数 24

62

回答

磁盘原地扩容功能4月22日正式上线

艳馨 2015-04-21 23:40:33 97129浏览量 回答数 62
+关注
杨冬芳
IT从业
1
文章
9167
问答
问答排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载