开发者社区> 问答> 正文

服务器里面是不是禁止采集了?


服务器里面是不是禁止采集了?  有懂的吗?   写了个采集程序,用HttpWebRequest一直超时,根本就抓不来网页,但是手工用IE打开网页又能正常访问,首先程序本地是没有问的。

展开
收起
yooluo 2012-09-17 21:21:18 8295 0
7 条回答
写回答
取消 提交回答
  • 嗯是要自己开启一下
    2012-09-18 18:17:47
    赞同 展开评论 打赏
  • Re服务器里面是不是禁止采集了?
    从来不用这个招数,自己原创。
    2012-09-18 17:33:33
    赞同 展开评论 打赏
  • Re服务器里面是不是禁止采集了?
    服务器自己配置,应该不会禁用
    2012-09-18 11:20:36
    赞同 展开评论 打赏
  • 自己设置问题
    2012-09-17 23:08:11
    赞同 展开评论 打赏
  • 不会的。服务器你自己管理的,采集禁止不禁止你自己最清楚啊
    2012-09-17 22:26:01
    赞同 展开评论 打赏
  • 服务器本身是没有限制的,可能是没有开启相应的支持函数,反正我之前采集都很正常;不过,说实话,现在采集站收录都不怎么好,不好弄了
    2012-09-17 21:24:17
    赞同 展开评论 打赏
  • 目测是目标网站禁止了采集器的UA特征。
    2012-09-17 21:22:48
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
如何运维千台以上游戏云服务器 立即下载
网站/服务器取证 实践与挑战 立即下载
ECS计算与存储分离架构实践 立即下载