如何实现从一个url抓取底下所有url并保存为文本? 400 报错
如何实现从一个url抓取底下所有url并保存为文本? 400 报错
假如说，我输入http://www.taobao.com，底下还有一系列的子url请求。怎么在linux系统上把这些url都抓出来呢？要抓出来进行分析（上面截图是httpwatch的抓包截图）
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB
下载页面，正则匹配所有的http请求，然后遍历下载######不行，这个没办法。是用curl下来，然后匹配http吗？这些没有全部的子url请求。
2020-06-03 17:12:51赞同 展开评论
相关问答