开发者社区> 问答> 正文

最近反馈百度蜘蛛的问题还是蛮多的,现在收集下 共同点

阿里云服务器 一直以稳定 质量 品质 以用户为中心的服务商
不会出现 屏蔽搜索网站的一切引擎及阻止收录
大家可以坚信 阿里云的大站很多
收录也很正常  更新也很快

但最近反馈 百度 或者 谷歌 蜘蛛无法访问的问题
为让用户不觉得 官方没关心 或者模糊的回答
现此贴做一个调查
一起解决问题
============= 首先需要蜘蛛无法访问的用户 提供您的环境以及所使用的程序

1.阿里云服务器什么系统
2.所安装了什么环境(详细配置)
3.如linux系统 是否安装面板  什么面板
4.从什么时候开始出现这样的问题
5.之前有否出现此问题
6.使用了什么程序 网站是否能正常打开
7.权限问题

展开
收起
asky8 2014-01-05 16:40:11 9756 0
9 条回答
写回答
取消 提交回答

  • 我不太清楚,多少抓取错误率多少是算作异常的? 我最高的时候又80%的错误率,最低的时候是0%,普遍的是20%左右,这算正常情况吗
    2014-01-07 14:18:45
    赞同 展开评论 打赏
  • 回3楼ljq130的帖子
    亲。你的那个图片动态效果怎么弄的呀,求指教!
    2014-01-07 11:47:25
    赞同 展开评论 打赏
  • 看不懂什么情况啊。
    2014-01-07 05:04:16
    赞同 展开评论 打赏
  • Re最近反馈百度蜘蛛的问题还是蛮多的,现在收集下共同点
    未收到提示
    2014-01-06 18:52:58
    赞同 展开评论 打赏
  • 爱好建站
    回7楼xfzx.org的帖子
    可以么 设置为 3600  有别的影响么

    -------------------------

    Re最近反馈百度蜘蛛的问题还是蛮多的,现在收集下共同点
    我ip也换了还是不行所有方法都测试过了  问题肯定在阿里云 那边
    2014-01-06 09:09:24
    赞同 展开评论 打赏
  • 关于谷歌蜘蛛不能访问的问题,谷歌官方有一个解决办法,就是把TTL值设为3600
    2014-01-06 08:56:47
    赞同 展开评论 打赏
  • 爬虫本来就跟正常用户的浏览其实是有一定的差异的,阿里的安全服务没有针对爬虫做特殊的处理,经常被误拦截是正常的,其实阿里都知道这个事,就是不处理而已
    2014-01-06 00:06:33
    赞同 展开评论 打赏
  • Re最近反馈百度蜘蛛的问题还是蛮多的,现在收集下共同点
    1.WIN 2003 安全加固版 32位
    2.PHP5.2,MYSQL5.1,Zend3.3
    环境程序下载地址: http://soft.phpwind.me/top/iis6/websoft.zip  来源网站: http://help.aliyun.com/manual?spm=0.0.0.0.5EML3F&helpId=1237
    3.无面板
    4.12月26日A记录修改为阿里云IP,然后百度开始提示无法访问网站。
    5.之前没有这样的情况,从万网虚拟主机转入万网锋云服务器,也没提示过。
    6.使用了wordpress程序,网站可以正常打开
    7.权限无问题,读写删都可以。


    备注:
    1,服务器环境阿里云工程师也进入看过了,没问题。
    2,万网锋云A和我现在的阿里云服务器硬件配置CPU高0.2GHZ,内存都是1G,宽带2M。
    3,解析用Fast CGI和ISAPI都用过,也加过GZIP压缩,全部不行
    4,截至今天1-5号,有3个百度提示无法访问的网站,其中2个被拔毛,收录为0,其中一个首页消失,排名没了。
    5,域名是万网的,联系客服说DNS是24小时后就生效到新的解析IP了。
    6,截图其中一个网站在百度的错误提示图

    7,百度提示异常的前提:你得注册百度站长平台:http://zhanzhang.baidu.com/ ,验证网站,然后输入消息提醒接收的方式【手机,邮箱】,后续你网站不能打开,以及百度无法抓取,你就收到提示了。如果你没做这个步骤,你就不会收到该提示。
    8,关于在百度反馈,截图如下:


    -------------------------

    Re回9楼孤独小超的帖子
    引用第11楼asky8于2014-01-06 16:15发表的 回 9楼(孤独小超) 的帖子 :
    对于百度收录:为了避网站服务器更换导致网站收录异常的问题,建议站长按照以下步骤处理(参考百度针对阿里云服务器站长的收录说明 http://bbs.aliyun.com/read.php?tid=1767
    l  开通新的空间,并将网站完整的迁移到新空间,并保持流畅访问
    l  将域名的服务器指向更新为新空间的ip
    l  保证旧空间能持续访问一段时间
    l  关注新空间的访问日志,等Baiduspider的抓取完全迁移到新空间后,停止旧空间的服务
    .......

    如果说旧空间保持一段时间可以访问,但是也不能是众多网站站长在2011年就提示K站了,到如今2014年还这样,对于空间商真的得仔细研究研究了。

    -------------------------

    Re回3楼ljq130的帖子
    引用第15楼青叶竹于2014-01-07 11:47发表的 回3楼ljq130的帖子 :
    亲。你的那个图片动态效果怎么弄的呀,求指教!

    GIF录影

    -------------------------

    Re最近反馈百度蜘蛛的问题还是蛮多的,现在收集下共同点
    引用第16楼jonnyff于2014-01-07 14:18发表的  :
    [attachment=46753]   [attachment=46754]   [attachment=46755]
    我不太清楚,多少抓取错误率多少是算作异常的? 我最高的时候又80%的错误率,最低的时候是0%,普遍的是20%左右,这算正常情况吗

    正常的是没有错误,你有错误证明能抓一部分,但是比一个抓取不到要好很多
    2014-01-05 19:07:29
    赞同 展开评论 打赏
  • 回 1楼(孤独小超) 的帖子
    好的  已收集

    -------------------------

    回 3楼(ljq130) 的帖子
    亲 从你的服务器上来看   是php脚本
    会使用linux系统吗?

    -------------------------

    回 5楼(mayle) 的帖子
    哇,好久没看到你了
    你的意思是  被拦截?
    被什么拦截? 云盾嘛。

    -------------------------

    回 7楼(xfzx.org) 的帖子
    域名解析的 TTL ?

    -------------------------

    回 9楼(孤独小超) 的帖子
    对于百度收录:为了避网站服务器更换导致网站收录异常的问题,建议站长按照以下步骤处理(参考百度针对阿里云服务器站长的收录说明 http://bbs.aliyun.com/read.php?tid=1767
    l  开通新的空间,并将网站完整的迁移到新空间,并保持流畅访问
    l  将域名的服务器指向更新为新空间的ip
    l  保证旧空间能持续访问一段时间
    l  关注新空间的访问日志,等Baiduspider的抓取完全迁移到新空间后,停止旧空间的服务
    2014-01-05 18:15:12
    赞同 展开评论 打赏
滑动查看更多
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
百度研发工具集的应用实践 立即下载
AIOps-百度的思考与实践 立即下载
百度万人研发团队Git工具链建设的挑战与思考 立即下载