开发者社区 问答 正文

https://www.aliyuna.com 蜘蛛爬行robots.txt

请教下,网站,如果只要让所有蜘蛛只爬行

https://www.aliyuna.com/*.html

https://www.aliyuna.com/index.php
这样的页面,在robots.txt 这样写法是对吗,还是要怎么写法,谢谢。

User-agent:
Allow: /index.php
Allow: /
.html
Disallow: /

展开
收起
人民井茶 2024-02-20 15:01:54 77 发布于福建 分享
分享
版权
举报
0 条回答
写回答
取消 提交回答
问答地址:
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等