AI 助理
备案控制台
开发者社区 大数据 文章 正文

robots.txt配置 减小服务器压力

2024-04-09 43
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： robots.txt配置 减小服务器压力

由于有之前发现很多国外的爬虫会抓页面的经验，为了减小压力直接修改 robots.txt ：

 

# xiaowu
User-agent: Baiduspider
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: Sosospider
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: sogou spider
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: MSNBot
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: googlebot-mobile
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: 360Spider
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: HaosouSpider
Allow: /
Disallow: /admin/
Disallow: /*.php$
User-agent: *
Disallow: /

 

文章标签：
数据采集
关键词：
云服务器 ECS配置
配置云服务器 ECS
robots.txt云服务器 ECS
jianz123
目录
相关文章
XiXu
|
22天前
|
安全 Linux 应用服务中间件
从零开始启动、配置、保护你的云服务器并搭建一个简单的网站
本文详细介绍了如何准备原料、搭建基础环境、进行安全防护、建设网站、管理证书以及开启BBR优化网络性能。主要内容包括获取健康云服务器、配置SSH登录、创建非root用户、启用密钥认证、安装Nginx、申请TLS证书、配置HTTPS自动跳转及优化网络性能等步骤。通过本文，读者可以掌握从零开始搭建个人网站的全过程。
XiXu
34 1
从零开始启动、配置、保护你的云服务器并搭建一个简单的网站
弹性计算小冉
|
14天前
|
开发框架 .NET PHP
网站应用项目如何选择阿里云服务器实例规格+内存+CPU+带宽+操作系统等配置
对于使用阿里云服务器的搭建网站的用户来说，面对众多可选的实例规格和配置选项，我们应该如何做出最佳选择，以最大化业务效益并控制成本，成为大家比较关注的问题，如果实例、内存、CPU、带宽等配置选择不合适，可能会影响到自己业务在云服务器上的计算性能及后期运营状况，本文将详细解析企业在搭建网站应用项目时选购阿里云服务器应考虑的一些因素，以供参考。
弹性计算小冉
34 2
东方睿赢
|
22天前
|
存储 人工智能 弹性计算
阿里云弹性计算（ECS）提供强大的AI工作负载平台，支持灵活的资源配置与高性能计算，适用于AI训练与推理
阿里云弹性计算（ECS）提供强大的AI工作负载平台，支持灵活的资源配置与高性能计算，适用于AI训练与推理。通过合理优化资源分配、利用自动伸缩及高效数据管理，ECS能显著提升AI系统的性能与效率，降低运营成本，助力科研与企业用户在AI领域取得突破。
东方睿赢
40 6
dufadayang
|
25天前
|
负载均衡 监控 应用服务中间件
配置Nginx反向代理时如何指定后端服务器的权重？
配置Nginx反向代理时如何指定后端服务器的权重？
dufadayang
47 4
弹性计算小冉
|
1月前
|
存储 分布式计算 固态存储
阿里云2核16G、4核32G、8核64G配置云服务器租用收费标准与活动价格参考
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8，这种配比的云服务器一般适用于数据分析与挖掘，Hadoop、Spark集群和数据库，缓存等内存密集型场景，因此，多为企业级用户选择。目前2核16G配置按量收费最低收费标准为0.54元/小时，按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.08元/小时，按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时，按月租用标准收费标准为1041.77元/1个月。本文介绍这些配置的最新租用收费标准与活动价格情况，以供参考。
弹性计算小冉
110 6
蓝易云
|
1月前
|
监控 PHP Apache
优化 PHP-FPM 参数配置：实现服务器性能提升
优化PHP-FPM的参数配置可以显著提高服务器的性能和稳定性。通过合理设置 `pm.max_children`、`pm.start_servers`、`pm.min_spare_servers`、`pm.max_spare_servers`和 `pm.max_requests`等参数，并结合监控和调优措施，可以有效应对高并发和负载波动，确保Web应用程序的高效运行。希望本文提供的优化建议和配置示例能够帮助您实现服务器性能的提升。
蓝易云
57 3
弹性计算小冉
|
1月前
|
存储 缓存 固态存储
阿里云服务器2核8G、4核16G、8核32G配置租用收费标准与活动价格参考
2核8G、8核32G、4核16G配置的云服务器处理器与内存比为1:4，这种配比的云服务器一般适用于中小型数据库系统、缓存、搜索集群和企业办公类应用等通用型场景，因此，多为企业级用户选择。本文介绍这些配置的最新租用收费标准与活动价格情况，以供参考。
弹性计算小冉
56 1
弹性计算小冉
|
1月前
|
存储 编解码 安全
阿里云服务器2核4G、4核8G、8核16G配置租用收费标准与活动价格参考
通常情况下，个人和一般企业用户在购买阿里云服务器时比较喜欢购买2核4G、4核8G、8核16G等配置，这些配置既能满足各种图文类中小型网站和应用又能满足企业网站应用、批量计算、中小型数据库系统等场景，2核4G配置适合新手入门或初创企业，4核8G与8核16G兼具成本与性能优势，适合通用场景，本文介绍这些配置的最新购买价格，包含原价收费标准和最新活动价格。
弹性计算小冉
63 2
山东布谷科技_sun
|
1月前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细！
山东布谷科技_sun
45 2
山东布谷科技_sun
|
2月前
|
NoSQL Linux PHP
布谷直播系统源码阿里云服务器搭建部署流程及配置步骤
布谷直播源码服务器环境配置要求
山东布谷科技_sun
51 1

热门文章

最新文章

  • 1
    阿里云服务器CPU内存几核几G配置可选ECS实例规格对照表
  • 2
    MySQL服务器 IO 100%的案例分析
  • 3
    FBI又想查看苹果服务器了: 这一次是iCloud
  • 4
    阿里云ECS云服务器安全组配置开放端口方法教程
  • 5
    如何选择阿里云服务器固定带宽更加节省费用，个人小经验分享
  • 6
    在注册表中找到你的dns服务器
  • 7
    构建企业服务之windows 2008 负载均衡服务器部署
  • 8
    dhcp服务器
  • 9
    单IP无TMG拓扑Lync Server 2013：边缘服务器
  • 10
    Inotify自动监控并且同步到服务器的脚本
  • 1
    Apache服务器安装SSL证书
    152
  • 2
    Springboot 解决linux服务器下获取不到项目Resources下资源
    245
  • 3
    node+express搭建服务器环境
    73
  • 4
    使用阿里云 mqtt serverless 版本超低成本快速实现 webscoket 长链接服务器
    401
  • 5
    卸载云服务器上的 MySQL 数据库
    265
  • 6
    pythonTCP客户端编程连接服务器
    141
  • 7
    linux下搭建tftp服务器教程
    228
  • 8
    DNS服务器的搭建之初体验
    109
  • 9
    Redis 服务器指南：高性能内存数据库的完整使用指南
    179
  • 10
    服务器宝塔怎么卸载
    670

    • 相关课程

    更多
  • ECS上云入门三部曲
  • 服务器硬件基础
  • Linux Web服务器Nginx搭建与配置
  • 7天玩转云服务器
  • 云服务器选型、迁云最佳实践
  • 云服务器ECS基本操作

    • 相关电子书

    更多
  • 如何运维千台以上游戏云服务器
  • 网站/服务器取证 实践与挑战
  • ECS块储存产品全面解析

    • 相关实验场景

    更多
  • 使用ECS和RDS搭建个人博客
  • 利用云备份Cloud Backup实现ECS文件备份
  • 基于ECS搭建FTP服务
  • 基于ECS和NAS搭建个人网盘
  • 使用ECS和OSS搭建个人网盘
  • 基于ECS搭建云上博客
    • 下一篇
    fs.oss.accessKeyId和fs.oss.accessKeySecret。