CDN怎么加robots.txt，会不会重复收录？
用了CDN后，cdn镜像完全复制了一个站 。cdn.baidu.com显示的和原站www.baidu.com一样， 如果不在cdn.baidu.com上加入robots.txt，那不是搜索引擎把 这个域名也收录了？，七牛和又拍，cdn都是可以另外加入robots.txt屏蔽掉cdn.baidu.com下所有内容。
而且有些网站用了后，cdn.baidu.com排名比www.baidu.com的排名更靠前
展开
收起
2
条回答
写回答
写回答
-
…。。可以在DNS解析平台里做些设置
例如加速的域名是 a.abc.abc
主机记录：a 线路类型：默认 记录值：正常的CDN地址
主机记录：a 线路类型：搜索引擎 记录值：8.8.8.8（错误的地址，这样搜索引擎就因为DNS地址错误，无法访问站点，也就无法收录网站了）
错误的地址建议不要乱写，可能误打误着出问题了。可以填8.8.8.8这种公共DNS地址。2017-07-26 15:52:11赞同 展开评论 打赏 -
这个版块关注度明显不够啊，楼主都是去年的问题了
我最近开始使用阿里云CDN过程中发现跟楼主同样的问题
发现阿里云的cdn会请求robots.txt，但是请求的跟源站一样的robots文件，貌似限制不了cdn镜像站的访问收录2017-01-13 11:00:37赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
