• 关于

    robots.txt

    的搜索结果

回答

在这些日志文件中查找出所有访问过robots.txt文件的主机&xff1a;findrobots.py import gzip import io import glob def find_robots(filename): 39;39;39;Find all of the hosts that access robots.txt in a single ...
哦哦喔 2020-04-17 17:21:50 0 浏览量 回答数 0

回答

楼主您好&xff0c;...robots.txt 100%[&61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;61;gt;137-.-KB/s in 0s 2016-03-28 12:16:20(2.13 MB/s)-&39;robots.txt&39;saved[137/137]
dongshan8 2019-12-02 01:52:05 0 浏览量 回答数 0

回答

robots.txt然后访问:http://localhost:8086/robots.txt然后访问:http://localhost:8086/elective/robots.txt如果能访问到文本文件的内容,说明配置没有问题,是你工程web.xml的问题。如果不能访问到,说明还是...
落地花开啦 2019-12-02 02:22:46 0 浏览量 回答数 0

域名特惠专场,热门顶级域名低至1元,适用企业/个人域名注册!

域名低至1元起,更有服务器低至0.55折

回答

robots.txt/a.php 这个a.php我这里都不存在啊 robots.txt也不存在这个目录啊 robots.txt又是文本文件&xff0c;没有执行的权力&xff0c;怎么会变成漏洞了呢。求解决
腾祥网 2019-12-01 21:01:04 5731 浏览量 回答数 1

回答

如果不在cdn.baidu.com上加入robots.txt&xff0c;那不是搜索引擎把 这个域名也收录了&xff1f;xff0c;七牛和又拍&xff0c;cdn都是可以另外加入robots.txt屏蔽掉cdn.baidu.com下所有内容。而且有些网站用了后&xff0c;cdn....
丨江南 2019-12-01 21:21:42 6176 浏览量 回答数 2

回答

请问一下关于网站数据是否可爬的标准。1.除了 robots 协议&xff0c;是否还有其他标准&xff1...那么我应该访问 a.b.com/robots.txt 还是 b.com/robots.txt?xff08;以上问题仅从如何正规爬取网站数据的角度而言&xff09;
jxsylar 2019-12-02 03:10:57 0 浏览量 回答数 0

回答

robots.txt/a.php 按照官方的提示修改php.ini文件&xff0c;将cgi.fix_pathinfo的值设置为0。完成后请重启PHP和NGINX&xff08;IIS&xff09;依然可以访问&xff0c;提交了工单 要么付费要么自己解决 来求助老司机了。老司机...
清风头 2019-12-01 21:43:07 3966 浏览量 回答数 0

回答

ww.lcpmeps.com36k由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述
1772518718713010 2019-12-01 19:46:25 1062 浏览量 回答数 1

回答

如果您的 robots.txt 是静态页面&xff0c;请验证您的网络服务拥有访问该文件的相应权限。如果您的 robots.txt 是动态生成的&xff0c;请验证生成 robots.txt 的脚本配置无误并拥有运行权限。请查看您网站的日志了解脚本...
千鸟 2019-12-02 02:34:40 0 浏览量 回答数 0

回答

iis6开启伪静态无法找到该页网站属性的ISAPI筛选器绿色箭头朝上没有问题。...static|data|app|install|thinkphp|sitemap.xml|robots.txt|favicon.ico|root.txt|jos_guid.txt|jd_root.txt).*)$/index\.php/$1[I]
wanjinyan 2019-12-01 19:55:24 1172 浏览量 回答数 1

回答

http://www.lehuowangbar.com/网站设置了robots.txt 可是访问不了而且百度站长工具也检查不到
28之家 2019-12-01 21:39:26 4205 浏览量 回答数 2

回答

每天都提示我robots.txt无法访问 回2楼mrznz的帖子 我这里做了一些调整&xff0c;所以还是需要它的。Regoogle无法访问robots文件 有没有人出现这种情况啊&xff0c;是怎么解决的啊&xff1f;Regoogle无法访问robots文件 问题...
carlsberg 2019-12-02 02:06:24 0 浏览量 回答数 0

回答

云盾报漏洞/robots.txt/a.php 请问如何处理&xff1f;有哪位高人愿意帮助&xff1f;
ayunsir0115 2019-12-01 22:04:12 4759 浏览量 回答数 1

回答

Googlebot 在尝试访问您的 robots.txt 时遇到了 36 个错误。为确保不会抓取该文件中列出的任何网页&xff0c;我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 100.0%。最近怎么回事&xff0c;访问都很正常&xff0c;...
ap8496v3k 2019-12-01 21:30:26 8483 浏览量 回答数 11

回答

favicon.ico/a.php robots.txt/a.php 2个漏洞&xff01;求大神~ Refavicon.ico/a.phprobots.txt/a.php漏洞求解救&xff01;xff01;xff01;按照阿里云官方提供的修复方案&xff0c;在php.ini中设置cgi.fix_pathinfo&61;0&xff1b...
冰点科技 2019-12-02 02:48:06 0 浏览量 回答数 0

回答

ReGooglebot提示无法访问robots.txt 我也有相同的问题&xff0c;也是用阿里云服务器的。我的robots文件是正确的和别人对比过 我的提示错误如下 请求大家帮忙啊。在过去 24 小时内&xff0c;Googlebot 在尝试访问您的 ...
烟柳画桥 2019-12-02 02:12:54 0 浏览量 回答数 0

回答

Re有没有高手啊&xff0c;网站不收录了&xff0c;帮忙分析下原因。怎么做啊 把robots.txt文件删除试试,用阿里云收录就这熊样子了,我的也才刚被百度收录,1个月才被收录,被收录,收录,录.
椰子包 2019-12-02 02:08:50 0 浏览量 回答数 0

回答

用了阿里云的负载均衡,访问的时候偶尔...GET/robots.txt HTTP/1.1" 404 162 "-" "CSS Certificate Spider (http://www.css-security.com/certificatespider/)"46.101.148.34-[05/Oct/2016:01:45:50+0800]"GET/readme....
山东周杰伦 2019-12-01 19:32:46 3278 浏览量 回答数 1

回答

可以通过在站点根目录下创建 Robots.txt&xff0c;Robots.txt 文件是网站的一个文件&xff0c;搜索引擎蜘蛛抓取网站首先就是抓取这个文件&xff0c;根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不...
剑曼红尘 2020-03-18 18:47:34 0 浏览量 回答数 0

回答

robots.txt/a.php漏洞我已按照修复提示流程执行了&xff0c;方案一&xff0c;修改php.ini文件&xff0c;将cgi.fix_pathinfo的值设置为0。完成后请重启PHP和NGINX&xff08;IIS&xff09;修复了之后&xff0c;还是提示存在这个漏洞&xff0...
小白走天下 2019-12-01 22:06:08 4475 浏览量 回答数 2

回答

我在 robots.txt 里面设置了 Crawl-delay:5 设置禁止抓取动态页 都不管用. ip 系列 203.208.60.* 查询是: 本站主数据&xff1a;北京市海淀区 北京谷翔信息技术有限公司 电信 参考数据二&xff1a;北京市 飞翔人信息技术...
alixi 2019-12-01 21:47:41 5448 浏览量 回答数 2

回答

根据官方文档&xff1a;...5176.775974672.2.5.LwmaYl&knowledgeId&61;5994617&categoryId&61;8314968 里面提供的方案&xff1a;...将cgi.fix_pathinfo的值设置为0&xff0c;然后重启 但是检测还是存在该问题&xff0c;...
天生真有才 2019-12-01 22:06:35 5352 浏览量 回答数 1

回答

在百度站长资源后台检测robots.txt时&xff0c;显示服务器配置错误&xff0c;代码500&xff1f;但是点击“4.如需检测未验证站点的robots设置&xff0c;请点击此处进行检测。检测并更新”时&xff0c;又可以检测出robots 请问如何...
游客w4sxkjohlqwrq 2021-01-27 12:09:22 6 浏览量 回答数 1

回答

云盾提示有漏洞&xff0c;网址/robots.txt/a.php 代码执行&xff0c;这是什么漏洞&xff1f;怎么修复&xff1f;论坛里查不到有关的帖子&xff0c;是这种问题太简单没人问&xff0c;还是没有人遇到这种漏洞&xff1f;
超新星 2019-12-01 21:00:21 5410 浏览量 回答数 3

回答

我的网站是用PHP编写的采用CI框架结构,现在访问网址为...(index.php|images|robots.txt)RewriteRule^(.*)$/index.php/$1[L]但不起作用,哪位大神帮忙看下有什么问题(www.abc.com是虚构网址)
小庞 2019-12-01 19:44:53 1155 浏览量 回答数 1

回答

t want Google to crawl these pages,consider adding them to your robots.txt. 检查抓取错误页面在网站管理员工具。检查您的服务器或主机阻止Googlebot。如果你不希望谷歌抓取这些页面&xff0c;把它们添加到你的...
看头像 2019-12-02 01:29:02 0 浏览量 回答数 0

回答

搜索引擎抓取错误&xff0c;...Googlebot 在尝试访问您的 robots.txt 时遇到了 17 个错误。为确保不会抓取该文件中列出的任何网页&xff0c;我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 89.5%。
hitrust 2019-12-01 21:37:48 6358 浏览量 回答数 7

回答

robots.txt文件里加入下面代码&xff0c;禁止所有搜索引擎收录这几个图片的类型。Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$ 当然在.htaccess文件里面 也可以加入图片...
哎哟 2019-12-02 01:02:47 0 浏览量 回答数 0

回答

Re根据官方文档修复favicon.ico/a.php和robots.txt/a.php执行代码漏洞无效 同求此教程
寒秋 2019-12-02 02:44:19 0 浏览量 回答数 0

回答

回 楼主(闲情偶记)的帖子 检查一下 robots.txt&xff0c;看是不是限制了 360蜘蛛.
云上珠玑 2019-12-02 00:46:44 0 浏览量 回答数 0

云产品推荐

小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化