• 关于

    蜘蛛访问

    的搜索结果

问题

关于蜘蛛

云代维 2019-12-01 21:30:37 11420 浏览量 回答数 9

回答

Re为什么会出现蜘蛛无法访问呢?我大概知道原因了。 我服务器蜘蛛无法访问 但是没出现过网站不能访问  蜘蛛报错 是在全天任何时段不一定是在晚上 很是郁闷啊  用阿里云给我带来了太多麻烦  不知道怎么办了 ------------------------- 回 7楼(lazyphp) 的帖子 把云顿关了试试如何

零云科技 2019-12-02 02:34:14 0 浏览量 回答数 0

回答

Re阿里云香港节点不稳定,百度蜘蛛无法访问 Baiduspider在24小时内,尝试连接您的网站发生错误率为50% 您可以在 抓取异常工具中查看详情 检测时间:2014-05-27 03:00:00 常见问题及推荐办法 可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问 可能是您的网站和主机的防火墙阻止了Baiduspider,请检查您网站和主机的防火墙 您的网站可能服务器压力过大,超负荷运转。可能系统存在问题导致处理能力过慢,请检查网站的状况;或者请为您的服务器增加更多的资源 您可以使用抓取异常工具查看错误率高的一天的网站日志,在日志中找到错误并修复错误 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 Baiduspider通过电信无法访问您的网站 您可以在 抓取异常工具中查看详情 检测时间:2014-05-24 03:00:00 常见问题及推荐办法 可能是网络服务运营商存在问题,请与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务 如果您已对电信网络进行了修复 请通知百度对您网站进行 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 Baiduspider通过联通无法访问您的网站 您可以在 抓取异常工具中查看详情 检测时间:2014-05-24 03:00:00 常见问题及推荐办法 可能是网络服务运营商存在问题,请与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务 如果您已对联通网络进行了修复 请通知百度对您网站进行 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 什么情况,优化的站点,排名都被搞没了。赶紧引起重视,这机器用个毛啊。, ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 你们赶紧尽快处理吧,一个月我肯定等不了了,一个月蜘蛛访问不了,我站早被百度K光了,我才上几天时间,转过去的好几个站都被百度降权,SITE不到首页了。我不要求你们速度提升,或者其他,但是你们要保证百度蜘蛛正常抓取啊  阿里云的哥哥们,就这么一点点要求。 让百度蜘蛛正常抓取网站,这个要不了一个月时间吧,你们扩容还有其他操作可以缓缓,先解决百度蜘蛛正常抓取网站吧,不然老是连通率0,每天都被百度站长工具报警,你让我情何以堪。。。。 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 还没好,。。。 Baiduspider在24小时内,尝试连接您的网站发生错误率为50% 您可以在 抓取异常工具中查看详情 检测时间:2014-06-04 11:00:00 常见问题及推荐办法 可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问 可能是您的网站和主机的防火墙阻止了Baiduspider,请检查您网站和主机的防火墙 您的网站可能服务器压力过大,超负荷运转。可能系统存在问题导致处理能力过慢,请检查网站的状况;或者请为您的服务器增加更多的资源 您可以使用抓取异常工具查看错误率高的一天的网站日志,在日志中找到错误并修复错误 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 搞么飞机啊。。。,什么时候香港的能正常抓取。你们。 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 我说你们现在升级好了没?上面的新站点一月了都不收录,新站啊,新域名新站。不是一个,是几十个,什么情况你们,屏蔽了百度蜘蛛就直接说,我服务器退掉,搞到现在一个月了,你知道我们损失多大吗????

影子中国 2019-12-01 23:13:44 0 浏览量 回答数 0

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

问题

标准Cwindows2008 64位 R2服务器访问缓慢,如何解决?

ap7209i6x 2019-12-01 21:00:09 11656 浏览量 回答数 8

回答

ReGooglebot提示无法访问robots.txt 这个貌似是谷歌每个地区都有自己的蜘蛛,不同地区的蜘蛛访问某个地区ip问题所致吧

life1713 2019-12-02 02:12:54 0 浏览量 回答数 0

问题

大家有遇到谷歌蜘蛛无法访问您的网站么?

百度杀毒 2019-12-01 21:29:05 5846 浏览量 回答数 1

问题

为什么会出现蜘蛛无法访问呢?我大概知道原因了。

lazyphp 2019-12-01 21:37:41 8039 浏览量 回答数 8

回答

回4楼pxw2002的帖子 用CDN蜘蛛来的时候也是给源站IP给蜘蛛访问的

十八晴天 2019-12-02 02:22:31 0 浏览量 回答数 0

回答

Re查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬? 引用第1楼服务器之家于2014-07-26 23:38发表的  : 云盾的IP 是的 我看了一下,很多来自42.121.43的IP,他们不只是伪装成baiduspider,还伪装成sougou和bing的蜘蛛 这是什么问题呢?肯定跟我的云盾有关系,会影响到网站的SEO吗? ------------------------- Re查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬? 引用第3楼服务器之家于2014-07-26 23:44发表的  : 访问(包括蜘蛛)访问你的网站,需要先通过云盾,由云盾把请求转交给你的服务器,能懂? 嗯 明白了 谢谢。 问题是,这样会影响到网站的SEO吗? ------------------------- Re查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬? 估计对SEO会有影响 果断先暂停域名CNAME到云盾。

wdlm.cn 2019-12-01 23:53:20 0 浏览量 回答数 0

问题

如何辨别真假百度蜘蛛

小猪猪 2019-12-01 21:33:49 8106 浏览量 回答数 1

问题

最近一直被谷歌蜘蛛访问,正常吗

诺卡米 2019-12-01 20:59:01 5325 浏览量 回答数 1

回答

robots是网站跟爬虫间的协议,用简单直接的txt格式文本形式告诉对应的爬虫被允许的权限。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围,如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。(如果网站不需要限制爬虫抓取,则您无需上传robots文件)。

剑曼红尘 2020-03-23 21:43:37 0 浏览量 回答数 0

问题

搜索蜘蛛要消耗多少带宽?

ap7355v4x 2019-12-01 20:23:04 7560 浏览量 回答数 8

回答

看你是什么类型的程序 不同程序 日志存放目录不一样。去你的服务器里下载 找到日志路径 、打开FTP登录软件我用的是FlashFXP登录空间FTP 登录FTP后你会发现根目录下有一个wwwlogs文件夹(有的是weblog注不同的服务器空间生成的日志文件目录名称不一样仅供参考一般文件夹中包含Log字符的就是日志文件夹)。 、打开wwwlogs文件夹后里面有一些以日期格式特征为文件名的.gz后缀结尾的文件这些就是我们需要下载到本地的日志文件 下载到电脑桌面后解压缩打开里面是一个记事本格式的文件打开文件看到的是下图这样的代码我下载的是3月7日的那个文件 、分析代码  上图1是百度蜘蛛的IP地址;  2是蜘蛛来访日期时间(2012年3月6日1时21分22秒) 3月7日的日志文件记录的是从3月6日凌晨开始至3月7日1时11分39秒整个时间段的n多次来访记录); 3是百度蜘蛛baiduspider  4是我网站被访问的网页地址;  5是sogou 搜狗蜘蛛的来访同样也能看到时间和被访网页。          如果是简单的查看您可以在记事本中搜索baiduspider 如果想精确分析可借助一些专用的分析软件。分析下哪些时间段百度蜘蛛来的最频繁那么我们就在这个时间段更新我们的网站内容很容易被百度收录的。         通过分析蜘蛛来访纪录可以了解本站的大体情况而不用再为百度不放出内页或者不收录的问题而苦恼了。        蜘蛛来访正常可以确切的说搜索引擎对你的站很友好的坚持更新自己的网站会有不错的收录的。 注有些共享IP空间可能不支持日志功能对于独立ip虚拟主机则提供每天的日志下载而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析。  答案来源于网络

养狐狸的猫 2019-12-02 02:15:46 0 浏览量 回答数 0

问题

网站老是受到恶意攻击 ,应该怎么办?

dieshang668 2019-12-01 21:22:05 9853 浏览量 回答数 2

问题

最近反馈百度蜘蛛的问题还是蛮多的,现在收集下 共同点

asky8 2019-12-01 21:37:24 8254 浏览量 回答数 9

回答

借别人的话告诉你。。。。 这个是迁站的问题,不是阿里云的问题 当你域名指向别的IP时,你会发现百度蜘蛛还会在原服务器上爬上好多天.谷歌反应快一点. 如果这期间蜘蛛在原来的服务器上找不到东西,会认为你的网站已经关闭了。从而造成收录和权重下降。 这不是阿里云的问题,关键在于DNS缓存(TTL值)。 假如你网站DNS记录TTL(Time To Live,既为切换生效时间,也是缓存失效时间)设置成了7天,那么你网站DNS解析生效记录,在解析过后,将会有7天的缓存,在7天内再次更新DNS缓存,已经缓存了的主机/网络区域ISP将不再重新查询DNS,依旧使用旧的解析值提供给HTTP程序(浏览器、蜘蛛)访问。 同理,假如设置成了30天,那么会缓存1个月,设置成365天,将会缓存1年。 假如网站更换了IP,而原IP失效,无法访问,蜘蛛在爬取旧IP时,会获取失败,顺理成章当然会降这个网站的权重。 不论是从SEO角度还是照顾访客访问情况保证Uptime的角度,在网站更换DNS解析后,新站(新IP)、旧站(旧IP)应该保证同样可访问,并数据同步。这样,相信很大程度上就会避免因为换IP而导致网站被降权。

catyan 2019-12-02 00:43:04 0 浏览量 回答数 0

回答

Re百度蜘蛛被云盾拦截怎么处理? 很久以前一个工具站因为访客会产生大量ajax HTTP 请求,被当做 CC 攻击黑洞24小时。 现在好多了。 ------------------------- Re百度蜘蛛被云盾拦截怎么处理? 经排查,是一个恶意 ip(即上面第一个 ip) 大量提交 http 请求导致的,后面的 ip 都是无辜的。 自己 iptables 封掉,然后提升阈值,就解除了屏蔽。 另一个问题是, 平时蜘蛛无法访问不知道是什么原因。 可以确定网站是正常的。 ------------------------- Re百度蜘蛛被云盾拦截怎么处理? 今天上传附件数已达到五个…不能再上传了…… 那就不说了。

shiny 2019-12-02 02:53:36 0 浏览量 回答数 0

问题

百度蜘蛛抓取出现 socket读写错误 请问怎么解决

冰城渔民 2019-12-01 19:43:47 2329 浏览量 回答数 1

回答

还是看下日志吧,看是哪些页面抓取错误....   百度站长里面应该能看到,然后具体页面具体分析。   蜘蛛爬取和普通访问的行为和返回应该是一致的,可以模拟蜘蛛抓取,找出问题。

服务器云 2019-12-02 00:39:23 0 浏览量 回答数 0

回答

还是看下日志吧,看是哪些页面抓取错误....   百度站长里面应该能看到,然后具体页面具体分析。   蜘蛛爬取和普通访问的行为和返回应该是一致的,可以模拟蜘蛛抓取,找出问题。

服务器云 2019-12-02 00:39:23 0 浏览量 回答数 0

回答

Regoogle无法访问robots文件 最近这几天服务器都访问不了,google蜘蛛访问不了,用主机ping www@google@com也不行

guguai 2019-12-02 02:06:25 0 浏览量 回答数 0

回答

您好,可以查看一下访问日志,看是正常的访问,还是搜索引擎蜘蛛过度抓取导致的。

dongshan8 2019-12-02 00:45:51 0 浏览量 回答数 0

回答

Re非常悲哀的个人论坛不能迁移到aliyun 用php代码实现蜘蛛访问论坛 用户访问调转一个适合备案的页面

baker668 2019-12-02 00:40:43 0 浏览量 回答数 0

回答

Re统计2013年12月到2014年1月换阿里服务器后百度提示无法访问的有多少 我的 蜘蛛不能访问

零云科技 2019-12-02 02:33:04 0 浏览量 回答数 0

问题

虚拟主机怎么设置白名单

一天天世界 2019-12-01 21:43:46 1863 浏览量 回答数 1

回答

一点小意见,供你参考。 看了下你的robots.txt文件。发现网站地图是http://yinzhizhen.com/sitemap.xml,但却无法访问,百度蜘蛛会访问sitemap.xml做为收录的参考。你网站地图却是sitemap.html,文章数量及标签也过少,无法吸引百度蜘蛛。建议你原创文章达到100篇。 百度收录方法很多并且是一个漫长的过程,和使用的空间有一些关系,但关系不太大(当然空间太慢,老被攻击断网另当别论)建议你系统学习下SEO知识。

dayang1 2020-04-20 17:07:27 0 浏览量 回答数 0

问题

请问CentOS下Nginx如何查看网站访问日志

天上一颗星 2019-12-01 20:59:30 5565 浏览量 回答数 1

问题

邮箱激活的地址被自动访问

daven 2019-12-01 21:39:51 4362 浏览量 回答数 2

回答

你看到的IP,是访问量统计里使用浏览器访问的,还有很多访问是统计不到的,比如蜘蛛,攻击,采集,扫描。

云代维 2019-12-02 01:49:23 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站