• 关于

    网站页面抓取

    的搜索结果

问题

百度蜘蛛抓取异常,同一页面抓取返回不同状态码;

baiduspider抓取同一个页面返回不同的状态码,第一次是返回302状态码,第二次是返回200状态码;网站有PC端和移动端,URL地址写的是相对地址,默认返回PC的源码。请教各位大神可能的原因是什么?在线等。。。...
moqiuhen 2019-12-01 19:49:26 9587 浏览量 回答数 2

问题

我的网站怎么360安全检测不了啊,抓取不了页面

我的网站怎么360安全检测不了啊,抓取不了页面?用360网站安全检测总是检测不出结果,看进程都是卡在网页抓取这一项,这是怎么回事,怎么解决? 求解答,谢谢...
成都物流 2019-12-01 20:57:43 2432 浏览量 回答数 2

问题

php采集高手进:利用curl模拟登录抓取数据遇到json调用问题不成功,求助!

我在抓取一个页面的信息(假设a.php),这个页面只是一些基本的html框架,其他关键信息是通过ajax请求(b.php)回来的,返回的是json,然后在通过页面js将json解析,绘制到页面上。问题的关键是ajax请求的信息里有个手机号码...
杨冬芳 2019-12-01 20:17:54 1067 浏览量 回答数 1

问题

网站优化需要注意的误区

  在 网站优化 的过程中,往往需要很多seo技巧,而往往在利用这些技巧的过程中,很多站长朋友容易进入误区,特别是一些新人站长,经验不足,喜欢跟风ÿ...
amainsjy 2019-12-01 21:56:14 5233 浏览量 回答数 1

问题

【百度官方】建立符合搜索抓取习惯的网站

1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历,那么一个简单明了结构层次分明的网站肯定是它所喜欢的,并尽量保证spider的可读性。(1)树型结构最优的结构即“...
kideny 2019-12-01 21:29:16 8410 浏览量 回答数 5

回答

合理的标题,描述,关键字:搜索对着三项的权重重逐个分解,标题值突出重点即可,重要关键字出现不要超过2次,而且要靠前,不同页面title要有所不同; description把页面内容高度概述,长度合适,不可过分堆砌关键词,不同页面description有所不同; keywords列出重要关键词即可 语义化的HTML代码,符合W3C规范:语义化代码让搜索引擎容易理解网页 重要内容HTML代码放在最前:搜索引擎抓取HTML顺序是从上到下,有的搜索引擎对抓取长度有限制,保证重要内容一定会被抓取 重要内容不要用js输出:爬虫不会执行js获取内容 少用iframe:搜索引擎不会抓取iframe中的内容 非装饰性图片必须加alt 提高网站速度:网站速度是搜索引擎排序的一个重要指标
茶什i 2019-12-02 03:16:12 0 浏览量 回答数 0

问题

搜索引擎抓取系统概述(含搜索引擎工作原理等)

       站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,并且欢迎大家来此与我讨论或分享一些自己的经验、心得等等。今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本...
kideny 2019-12-01 21:30:39 5387 浏览量 回答数 1

回答

Robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。 Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。
珍宝珠 2019-12-02 03:12:42 0 浏览量 回答数 0

回答

Robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。 Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。
珍宝珠 2019-12-02 03:12:53 0 浏览量 回答数 0

回答

1、 观察百度爬虫爬行网站的时间点的访问日志,观察web服务日志是否有问题。 2、议用户使用阿里云监控,监控系统负载,网络带宽使用率。观察系统负载以及网络带宽是否正常,如果偏高建议用户升级ECS服务器配置。 3、建议用户使用阿里云监控,监测网站的可用性的。http://www.aliyun.com/product/jiankong/ 4、使用百度站长工具了解网站的连通率:      A. 利用抓取异常、抓取频次工具观察抓取情况          注:每个工具页面的右侧下方都有使用说明可以了解,如下:                                  B. 利用抓取诊断工具观察抓取情况               为了保证网站对百度蜘蛛的稳定访问性能,日常需要养成定期抓取诊断的习惯,另外抓取诊断不是说光看看状态是否“抓取成功”就行了。有下面几步进行: A. 下拉选择分”pc”、 ”移动”进行抓取,”pc”意味着一般意义上的电脑端访问诊断,”移动”则是如手机、平板等移动设备端访问诊断。 B. 网站主要的引流页,如首页、详情页、内容页、专题页等都要进行抓取,另外可以重点几个时间段(比如网站高峰时间段)每天定期进行测试。 C. 抓取失败了,点击”抓取失败”查看提示信息,如果自己没有技术能力解决问题,可以跟空间商进行沟通,然后向工具提交报错。      D. 抓取成功后,也不能说就万事大吉了,还要点击”抓取成功”进去注意:提交网址、抓取网址、抓取UA、网站ip、下载时长、头部信息(服务器返回状态码、gzip等相关信息)、网页源码是否都正常。      特别说明:有很多站长就光注意抓取成功,却不知网站ip可能并非自己的实际ip,还可能每隔一段时间都变。当发现ip有问题,及时跟网络商沟通,并在网站ip旁点击“报错”按钮,百度会更新网站ip,但是切记不要ip变化频繁。此外当然还可能出现实际抓取网址、头部信息、网页源码等都不是自己本来设置的。 5. 测试抓取成功并能打开,这里主要注意DNS和空间的稳定性。     A. DNS的问题                 --------下方为百度官方资料-------------                当心dns服务器不稳导致站点被屏                近期百度站长平台收到多个反馈,称网站从百度网页搜索消失,site查询发现连通率为0。                 经追查发现这些网站都使用godaddy的DNS服务器 *.DOMAINCONTROL.COM,此系列DNS服务器存在稳定性问题,Baiduspider经常解析不到ip,在Baiduspider看来,网站是死站点。                此前我们也发现过多起小dns服务商屏蔽Baiduspider解析请求或者国外dns服务器不稳定的案例。                建议站长尽可能使用国内大型服务商提供的DNS服务,如dnspod等,以保证站点的稳定解析。                --------上方为百度官方资料-------------     B. 空间的稳定性                 空间的资源不足,内存、并发连接等等,当访问量很少的时候,用户察觉不出,当用户量高流量大时候出现网站打开异常会导致时,建议用户使用云监控监控网站打开延迟以及ECS服务器性能监控,了解服务器的性能异常及时调整服务器状态。             云监控配置方法,请查看链接:http://docs.aliyun.com/?spm=5176.775973980.2.3.ZU5cWe#/cms/User_Manual/Quick_Start&Site_Monitor 6. 建议用户与百度收录取得联系,询问下这边连通率的问题的。
KB小秘书 2019-12-02 01:28:38 0 浏览量 回答数 0

回答

你要熟悉百度的优化算法, 为何不收录你的其他页面 为何蜘蛛抓取不抓取 你就要看你网站的SEO了 站点内容方面,最好要原创, 可以伪原创,内容好蜘蛛才喜欢爬行,千万不要去采集别人的内容照搬 而且网站内容的标题和段落的内容要选择好,要让百度蜘蛛喜欢去抓取你网站的内容,这样收录的页面会增加很多,然后选择网站关键词的时候很重要,要会自己造词,造词对一般不是SEO专员来说简直太难,这个不必太慌,可以提取热门的关键词,然后利用某些软件挖掘的,然后外链也很重要,让蜘蛛在不同的爬行路上慢慢爬到你的站点,一旦蜘蛛习惯性的爬行你网站抓取你内容的时候 你的收录会稳定增长了,然后就是在一些收录比较好,PR,权重好的地方发布,稳定的网站,服务器一定要稳定,站点的内部页面,站点内容页面的链接长短,越短越好 总之一句话 SEO道理很漫长,不会取决你用谁的主机收录多,谁的主机不收录, 蜘蛛只是一个工具,根据命令和设置的规则来爬行,又不是人,没有偏见, 你要了解掌握百度算法,然后根据他的算法规则去优化你的站点就OK了 现在最新百度算法对刷外链之类的已经基本不咋收录了 你可以去一些比较大的知名的SEO网站看看学学了解了解,
华杰科技 2019-12-01 23:38:08 0 浏览量 回答数 0

回答

我的网站www.yulujiahe.com.cn也是遇到了同样的问题 1,服务器错误:爬虫发起抓取,httpcode返回码是5XX。如何解决?2,访问被拒绝:爬虫发起抓取,httpcode返回码是4033,找不到页面:爬虫发起抓取,httpcode返回码是4044,其他错误:爬虫发起抓取,httpcode返回码是4XX yinzhuizhen.com同样如此
7fym5p7uuvlpq 2020-04-15 11:27:40 0 浏览量 回答数 0

回答

我的网站www.luzhoukeji.com也是这样几个月了 都没有收录,今天才发现服务器错误:爬虫发起抓取,httpcode返回码是5XX 访问被拒绝:爬虫发起抓取,httpcode返回码是403 找不到页面:爬虫发起抓取,httpcode返回码是404
1614062585724585 2021-02-24 20:19:00 0 浏览量 回答数 0

回答

python爬虫可从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
大财主 2019-12-02 01:05:48 0 浏览量 回答数 0

回答

我的网站www.yulujiahe.com.cn也是遇到了同样的问题 1,服务器错误:爬虫发起抓取,httpcode返回码是5XX。如何解决?2,访问被拒绝:爬虫发起抓取,httpcode返回码是4033,找不到页面:爬虫发起抓取,httpcode返回码是4044,其他错误:爬虫发起抓取,httpcode返回码是4XX ,不包括403和404
1909119779667328 2020-03-30 22:13:53 0 浏览量 回答数 0

问题

设置360搜索引擎蜘蛛白名单

以下是360搜索Spider抓取结果及页面信息 抓取信息 提交网站 simingte.com 提交网址 ...
1330155868457057 2019-12-01 19:03:44 72 浏览量 回答数 1

问题

网站无法被百度抓取!网址www.ztfeng.net

[font='Helvetica Neue', 'Luxi Sans', 'DejaVu Sans', Tahoma, 'Hiragino Sans GB', STHe...
征途风 2019-12-01 21:33:58 4080 浏览量 回答数 3

回答

可以在浏览器开启开发者模式查看页面上引用的js文件,也可以直接查看页面的html代码,看页面应用了哪些脚本。如果你是mac os,推荐一个好用的软件 sitesucker,可以抓取网站页面和脚本
chale 2019-12-02 00:52:58 0 浏览量 回答数 0

回答

如果你想处理自己网站的问题,直接在页面上跳转就行,你以为那么多网站统一的404页面哪儿来的。。。。如果你指的是抓取其他网站的url,那也好办,获取http返回状态码,判断是否为404即可。
杨冬芳 2019-12-02 02:49:24 0 浏览量 回答数 0

回答

Re这是阿里云的服务器么?为何模仿百度蜘蛛抓取我的页面!!! 42.121.43.* 一个网段对我网站疯狂进行抓取,模仿为百度蜘蛛、搜狗蜘蛛、MSN蜘蛛、iPad客户端等~~~请阿里云解决处理!
jayking 2019-12-02 01:49:23 0 浏览量 回答数 0

回答

Re阿里云香港节点不稳定,百度蜘蛛无法访问 Baiduspider在24小时内,尝试连接您的网站发生错误率为50% 您可以在 抓取异常工具中查看详情 检测时间:2014-05-27 03:00:00 常见问题及推荐办法 可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问 可能是您的网站和主机的防火墙阻止了Baiduspider,请检查您网站和主机的防火墙 您的网站可能服务器压力过大,超负荷运转。可能系统存在问题导致处理能力过慢,请检查网站的状况;或者请为您的服务器增加更多的资源 您可以使用抓取异常工具查看错误率高的一天的网站日志,在日志中找到错误并修复错误 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 Baiduspider通过电信无法访问您的网站 您可以在 抓取异常工具中查看详情 检测时间:2014-05-24 03:00:00 常见问题及推荐办法 可能是网络服务运营商存在问题,请与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务 如果您已对电信网络进行了修复 请通知百度对您网站进行 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 Baiduspider通过联通无法访问您的网站 您可以在 抓取异常工具中查看详情 检测时间:2014-05-24 03:00:00 常见问题及推荐办法 可能是网络服务运营商存在问题,请与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务 如果您已对联通网络进行了修复 请通知百度对您网站进行 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 什么情况,优化的站点,排名都被搞没了。赶紧引起重视,这机器用个毛啊。, ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 你们赶紧尽快处理吧,一个月我肯定等不了了,一个月蜘蛛访问不了,我站早被百度K光了,我才上几天时间,转过去的好几个站都被百度降权,SITE不到首页了。我不要求你们速度提升,或者其他,但是你们要保证百度蜘蛛正常抓取啊  阿里云的哥哥们,就这么一点点要求。 让百度蜘蛛正常抓取网站,这个要不了一个月时间吧,你们扩容还有其他操作可以缓缓,先解决百度蜘蛛正常抓取网站吧,不然老是连通率0,每天都被百度站长工具报警,你让我情何以堪。。。。 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 还没好,。。。 Baiduspider在24小时内,尝试连接您的网站发生错误率为50% 您可以在 抓取异常工具中查看详情 检测时间:2014-06-04 11:00:00 常见问题及推荐办法 可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问 可能是您的网站和主机的防火墙阻止了Baiduspider,请检查您网站和主机的防火墙 您的网站可能服务器压力过大,超负荷运转。可能系统存在问题导致处理能力过慢,请检查网站的状况;或者请为您的服务器增加更多的资源 您可以使用抓取异常工具查看错误率高的一天的网站日志,在日志中找到错误并修复错误 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 搞么飞机啊。。。,什么时候香港的能正常抓取。你们。 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 ------------------------- Re阿里云香港节点不稳定,百度蜘蛛无法访问 我说你们现在升级好了没?上面的新站点一月了都不收录,新站啊,新域名新站。不是一个,是几十个,什么情况你们,屏蔽了百度蜘蛛就直接说,我服务器退掉,搞到现在一个月了,你知道我们损失多大吗????
影子中国 2019-12-01 23:13:44 0 浏览量 回答数 0

问题

阿里云香港节点不稳定,百度蜘蛛无法访问

Baiduspider在24小时内,一直无法连接您的网站,连接网站服务器错误率为100% 您可以在 抓取异常工具中查看详情 检测时间:2014-05-29 03:00:00 常见问题及推荐办法...
影子中国 2019-12-01 21:57:10 11794 浏览量 回答数 5

问题

Googlebot提示无法访问robots.txt

在过去 24 小时内,Googlebot 在尝试访问您的 robots.txt 时遇到了 36 个错误。为确保不会抓取该文件中列出的任何网页,我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 10...
ap8496v3k 2019-12-01 21:30:26 8483 浏览量 回答数 11

回答

按你说的这个情况,貌似这个页面是JS堆的。我的网站之前就是这个情况,后来改了,右键点击查看源代码,能看见页面的数据,应该就可以抓取的了
元芳啊 2019-12-02 00:24:18 0 浏览量 回答数 0

回答

你的网站程序,在抓取这个IP上的页面。
云代维 2019-12-02 02:45:33 0 浏览量 回答数 0

问题

百度不收录网站?

上线三个月了,百度上很难收录网站页面,麻烦帮忙查看下什么原因。是否防火墙组织了百度蜘蛛爬行抓取...
客小白 2019-12-01 18:54:52 196 浏览量 回答数 2

问题

借用百度站长、站长工具查询网站出现服务器错误和500状态码

各位大神好,借用百度站长进行网站抓取诊断,出现抓取失败已经持续有一个多月了, ,利用阿里云检测修复也没有解决掉!!!     目前我们网站百度...
皇室饭团 2019-12-01 21:57:01 11318 浏览量 回答数 5

回答

Re:请问经常被google提醒!!!!!!!!!!!!!!!!!!!!!! .. Check the Crawl Errors page in Webmaster Tools. Check if your server or host is blocking Googlebot. If you don't want Google to crawl these pages, consider adding them to your robots.txt. ·检查抓取错误页面在网站管理员工具。 ·检查您的服务器或主机阻止Googlebot。 ·如果你不希望谷歌抓取这些页面,把它们添加到你的robots.txt。
看头像 2019-12-02 01:29:02 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 如果向您的服务器发出了某项请求要求显示您网站上的某个网页(例如,当用户通过浏览器访问您的网页或在检测工具抓取该网页时),那么,您的服务器会返回 HTTP 状态代码以响应该请求。一些常见的状态代码为:200 - 服务器成功返回网页404 - 请求的网页不存在503 - 服务器暂时不可用以下提供了 HTTP 状态代码的完整列表。1xx(临时响应) 用于表示临时响应并需要请求者执行操作才能继续的状态代码。代码说明100(继续)请求者应继续进行请求。服务器返回此代码以表示,服务器已收到某项请求的第一部分,正等待接收剩余部分。101(切换协议)请求者已要求服务器切换协议,服务器已确认并准备进行切换。2xx(成功)用于表示服务器已成功处理相应请求的状态代码。代码说明200(成功)服务器成功处理了相应请求。通常,这表示服务器已提供了请求的网页。如果您的 robots.txt 文件显示为此状态,则表示 检测工具 已成功检索到该文件。201(已创建)请求成功且服务器已创建了新的资源。202(已接受)服务器已接受相应请求,但尚未对其进行处理。203(非授权信息)服务器已成功处理相应请求,但返回了可能来自另一来源的信息。204(无内容)服务器已成功处理相应请求,但未返回任何内容。205(重置内容)服务器已成功处理相应请求,但未返回任何内容。与 204 响应不同,此响应要求请求者重置文档视图(例如清除表单内容以输入新内容)。206(部分内容)服务器成功处理了部分 GET 请求。3xx(已重定向) 您需要进一步操作才能完成请求。此类状态代码通常可用于重定向。 建议您针对每一请求使用重定向的次数少于五次。您可以使用网站站长工具确定 检测工具 是否会在抓取重定向网页时遇到问题。抓取下的抓取错误页列出了由于重定向错误而导致 检测工具 无法抓取的网址。代码说明300(多种选择)服务器可以根据请求来执行多项操作,例如:按照请求者(用户代理)的要求来选择某项操作或者展示列表以便请求者选择其中某项操作。301(永久移动)请求的网页已永久移动到新位置。服务器返回此响应(作为对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。您应使用此代码通知 检测工具 某个网页或网站已被永久移动到新位置。302(临时移动)服务器目前正从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。此代码与响应 GET 和 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置。但由于 检测工具 会继续抓取原有位置并将其编入索引,因此您不应使用此代码来通知 检测工具 某个页面或网站已被移动。303(查看其他位置)当请求者应对不同的位置进行单独的 GET 请求以检索响应时,服务器会返回此代码。对于除 HEAD 请求之外的所有请求,服务器会自动转到其他位置。304(未修改)请求的网页自上次请求后再也没有修改过。当服务器返回此响应时,不会返回相关网页的内容。如果网页自请求者上次请求后再也没有更改过,您应当将服务器配置为返回此响应(称为 If-Modified-Since HTTP 标头)。服务器可以告诉 检测工具 自从上次抓取后网页没有变更,进而节省带宽和开销。305(使用代理)请求者只能使用代理访问请求的网页。如果服务器返回此响应,那么,服务器还会指明请求者应当使用的代理。307(临时重定向)服务器目前正从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。此代码与响应 GET 和 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置。但由于 检测工具 会继续抓取原有位置并将其编入索引,因此您不应使用此代码来通知 检测工具 某个页面或网站已被移动。4xx(请求错误) 此类状态代码表示,相应请求可能出错,已阻止了服务器对请求的处理。代码说明400(错误请求)服务器不理解相应请求的语法。401(未授权)请求要求进行身份验证。登录后,服务器可能会返回对页面的此响应。403(已禁止)服务器正在拒绝相应请求。如果 检测工具 在尝试抓取网站的有效网页时收到此状态代码(您可在  网站站长工具中运行工具下的抓取错误页上进行查看),则可能是因为您的服务器或主机正在阻止 检测工具 进行访问。404(未找到)服务器找不到请求的网页。例如,如果相应请求是针对服务器上不存在的网页进行的,那么服务器通常会返回此代码。如果您的网站上没有 robots.txt 文件,而您在  网站站长工具中的已拦截的网址页上看到此状态,那么这就是正确的状态。然而,如果您有 robots.txt 文件而又发现了此状态,那么,这说明您的 robots.txt 文件可能是命名错误或位于错误的位置。(该文件应当位于顶级域名上,且应当名为 robots.txt)。如果您在 检测工具 尝试抓取的网址上看到此状态,那么这表示 检测工具 追踪的可能是另一网页中的无效链接(旧链接或输入有误的链接)。405(方法禁用)禁用相应请求中所指定的方法。406(不接受)无法使用相应请求的内容特性来响应请求的网页。407(需要代理授权)此状态代码与 401(未授权)类似,但却指定了请求者应当使用代理进行授权。如果服务器返回此响应,那么,服务器还会指明请求者应当使用的代理。408(请求超时)服务器在等待请求时超时。409(冲突)服务器在完成请求时遇到冲突。服务器必须在响应中包含该冲突的相关信息。服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码,同时会提供两个请求的差异列表。410(已删除)如果请求的资源已被永久删除,那么服务器会返回此响应。该代码与 404(未找到)代码类似,但在资源以前有但现在已经不复存在的情况下,有时会替代 404 代码出现。如果资源已永久删除,您应使用 301 指定资源的新位置。411(需要有效长度)服务器不会接受包含无效内容长度标头字段的请求。412(未满足前提条件)服务器未满足请求者在请求中设置的其中一个前提条件。413(请求实体过大)服务器无法处理相应请求,因为请求实体过大,已超出服务器的处理能力。414(请求的 URI 过长)请求的 URI(通常为网址)过长,服务器无法进行处理。415(不支持的媒体类型)相应请求的格式不受请求页面的支持。416(请求范围不符合要求)如果相应请求是针对网页的无效范围进行的,那么服务器会返回此状态代码。417(未满足期望值)服务器未满足“期望”请求标头字段的要求。5xx(服务器错误) 此类状态代码表示,服务器在尝试处理相应请求时发生内部错误。此类错误往往与服务器本身有关(与请求无关)。代码说明500(服务器内部错误)服务器遇到错误,无法完成相应请求。501(尚未实施)服务器不具备完成相应请求的功能。例如,当服务器无法识别请求方法时,可能便会返回此代码。502(错误网关)服务器作为网关或代理,从上游服务器收到了无效的响应。503(服务不可用)目前无法使用服务器(由于超载或进行停机维护)。通常,这只是暂时状态。504(网关超时)服务器作为网关或代理,未及时从上游服务器接收请求。505(HTTP 版本不受支持)服务器不支持相应请求中所用的 HTTP 协议版本。  
2019-12-01 23:21:47 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 如果向您的服务器发出了某项请求要求显示您网站上的某个网页(例如,当用户通过浏览器访问您的网页或在检测工具抓取该网页时),那么,您的服务器会返回 HTTP 状态代码以响应该请求。一些常见的状态代码为:200 - 服务器成功返回网页404 - 请求的网页不存在503 - 服务器暂时不可用以下提供了 HTTP 状态代码的完整列表。1xx(临时响应) 用于表示临时响应并需要请求者执行操作才能继续的状态代码。代码说明100(继续)请求者应继续进行请求。服务器返回此代码以表示,服务器已收到某项请求的第一部分,正等待接收剩余部分。101(切换协议)请求者已要求服务器切换协议,服务器已确认并准备进行切换。2xx(成功)用于表示服务器已成功处理相应请求的状态代码。代码说明200(成功)服务器成功处理了相应请求。通常,这表示服务器已提供了请求的网页。如果您的 robots.txt 文件显示为此状态,则表示 检测工具 已成功检索到该文件。201(已创建)请求成功且服务器已创建了新的资源。202(已接受)服务器已接受相应请求,但尚未对其进行处理。203(非授权信息)服务器已成功处理相应请求,但返回了可能来自另一来源的信息。204(无内容)服务器已成功处理相应请求,但未返回任何内容。205(重置内容)服务器已成功处理相应请求,但未返回任何内容。与 204 响应不同,此响应要求请求者重置文档视图(例如清除表单内容以输入新内容)。206(部分内容)服务器成功处理了部分 GET 请求。3xx(已重定向) 您需要进一步操作才能完成请求。此类状态代码通常可用于重定向。 建议您针对每一请求使用重定向的次数少于五次。您可以使用网站站长工具确定 检测工具 是否会在抓取重定向网页时遇到问题。抓取下的抓取错误页列出了由于重定向错误而导致 检测工具 无法抓取的网址。代码说明300(多种选择)服务器可以根据请求来执行多项操作,例如:按照请求者(用户代理)的要求来选择某项操作或者展示列表以便请求者选择其中某项操作。301(永久移动)请求的网页已永久移动到新位置。服务器返回此响应(作为对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。您应使用此代码通知 检测工具 某个网页或网站已被永久移动到新位置。302(临时移动)服务器目前正从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。此代码与响应 GET 和 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置。但由于 检测工具 会继续抓取原有位置并将其编入索引,因此您不应使用此代码来通知 检测工具 某个页面或网站已被移动。303(查看其他位置)当请求者应对不同的位置进行单独的 GET 请求以检索响应时,服务器会返回此代码。对于除 HEAD 请求之外的所有请求,服务器会自动转到其他位置。304(未修改)请求的网页自上次请求后再也没有修改过。当服务器返回此响应时,不会返回相关网页的内容。如果网页自请求者上次请求后再也没有更改过,您应当将服务器配置为返回此响应(称为 If-Modified-Since HTTP 标头)。服务器可以告诉 检测工具 自从上次抓取后网页没有变更,进而节省带宽和开销。305(使用代理)请求者只能使用代理访问请求的网页。如果服务器返回此响应,那么,服务器还会指明请求者应当使用的代理。307(临时重定向)服务器目前正从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。此代码与响应 GET 和 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置。但由于 检测工具 会继续抓取原有位置并将其编入索引,因此您不应使用此代码来通知 检测工具 某个页面或网站已被移动。4xx(请求错误) 此类状态代码表示,相应请求可能出错,已阻止了服务器对请求的处理。代码说明400(错误请求)服务器不理解相应请求的语法。401(未授权)请求要求进行身份验证。登录后,服务器可能会返回对页面的此响应。403(已禁止)服务器正在拒绝相应请求。如果 检测工具 在尝试抓取网站的有效网页时收到此状态代码(您可在  网站站长工具中运行工具下的抓取错误页上进行查看),则可能是因为您的服务器或主机正在阻止 检测工具 进行访问。404(未找到)服务器找不到请求的网页。例如,如果相应请求是针对服务器上不存在的网页进行的,那么服务器通常会返回此代码。如果您的网站上没有 robots.txt 文件,而您在  网站站长工具中的已拦截的网址页上看到此状态,那么这就是正确的状态。然而,如果您有 robots.txt 文件而又发现了此状态,那么,这说明您的 robots.txt 文件可能是命名错误或位于错误的位置。(该文件应当位于顶级域名上,且应当名为 robots.txt)。如果您在 检测工具 尝试抓取的网址上看到此状态,那么这表示 检测工具 追踪的可能是另一网页中的无效链接(旧链接或输入有误的链接)。405(方法禁用)禁用相应请求中所指定的方法。406(不接受)无法使用相应请求的内容特性来响应请求的网页。407(需要代理授权)此状态代码与 401(未授权)类似,但却指定了请求者应当使用代理进行授权。如果服务器返回此响应,那么,服务器还会指明请求者应当使用的代理。408(请求超时)服务器在等待请求时超时。409(冲突)服务器在完成请求时遇到冲突。服务器必须在响应中包含该冲突的相关信息。服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码,同时会提供两个请求的差异列表。410(已删除)如果请求的资源已被永久删除,那么服务器会返回此响应。该代码与 404(未找到)代码类似,但在资源以前有但现在已经不复存在的情况下,有时会替代 404 代码出现。如果资源已永久删除,您应使用 301 指定资源的新位置。411(需要有效长度)服务器不会接受包含无效内容长度标头字段的请求。412(未满足前提条件)服务器未满足请求者在请求中设置的其中一个前提条件。413(请求实体过大)服务器无法处理相应请求,因为请求实体过大,已超出服务器的处理能力。414(请求的 URI 过长)请求的 URI(通常为网址)过长,服务器无法进行处理。415(不支持的媒体类型)相应请求的格式不受请求页面的支持。416(请求范围不符合要求)如果相应请求是针对网页的无效范围进行的,那么服务器会返回此状态代码。417(未满足期望值)服务器未满足“期望”请求标头字段的要求。5xx(服务器错误) 此类状态代码表示,服务器在尝试处理相应请求时发生内部错误。此类错误往往与服务器本身有关(与请求无关)。代码说明500(服务器内部错误)服务器遇到错误,无法完成相应请求。501(尚未实施)服务器不具备完成相应请求的功能。例如,当服务器无法识别请求方法时,可能便会返回此代码。502(错误网关)服务器作为网关或代理,从上游服务器收到了无效的响应。503(服务不可用)目前无法使用服务器(由于超载或进行停机维护)。通常,这只是暂时状态。504(网关超时)服务器作为网关或代理,未及时从上游服务器接收请求。505(HTTP 版本不受支持)服务器不支持相应请求中所用的 HTTP 协议版本。  
2019-12-01 23:21:47 0 浏览量 回答数 0

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT