AI 助理
备案控制台
开发者社区 问答 正文

蜘蛛是爬网页的还是爬服务器知道的目录？

蜘蛛是爬网页的还是爬服务器知道的目录？


他们是通过网页的地址知道的目录还是直接爬进服务器找到目录的？

展开
收起
微笑站长 2014-03-30 05:22:22 4369 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • 小夜博客
    Re蜘蛛是爬网页的还是爬服务器知道的目录？
    蜘蛛是跟着网页链接爬的。
    2014-03-30 14:15:19
    赞同 展开评论
  • kideny
    顺着网页的链接爬目录。。。
    2014-03-30 10:00:11
    赞同 展开评论
问答标签：
云服务器 ECS目录 云服务器 ECS蜘蛛
问答地址：
开发者社区 > 云计算 > 问答
相关问答
在 WEB 服务器配置中，创建目录的规划是什么呢？
407
1
0
在 WEB 服务器配置中，root根目录下的 sbin 目录里有什么呢？
473
1
0
在 WEB 服务器配置中，root根目录下的bin目录里有什么呢？
475
1
0
在WEB 服务器配置中，系统根目录下的目录都有什么呢？
477
1
0
请问使用java对服务器目录进行清除处理性能最优的做法是什么？
554
0
0
使用java查询服务器目录资源中的某个文件，有没有性能更优的实现方法？
1199
1
0
使用java对服务器目录进行清除处理性能最优的做法是什么？
483
1
0
正在对Linux服务器进行性能监控和调优，请问如何不使用+D选项，遍历查看某个目录的所有文件信息的
527
2
0
正在对Linux服务器进行性能监控和调优，请问如何递归查看某个目录的文件信息？
436
1
0
使用JDK8 AccessController类读取服务器目录发生异常，报错：拒绝访问，该如何处理？
569
0
0