wget获取整站

简介: wget -m -e robots=off https://www.baidu.com-m是克隆整个网站,-e robots=off是让wget忽视robots.txt如果网站有中文路径,最好用以下命令wget -r -p -np -k --restrict-file-names=nocontrol http://www.

wget -m -e robots=off https://www.baidu.com
-m是克隆整个网站,-e robots=off是让wget忽视robots.txt

如果网站有中文路径,最好用以下命令

wget -r -p -np -k --restrict-file-names=nocontrol http://www.baidu.com

转自:http://blog.lanyus.com/archives/38.html

目录
相关文章
|
8月前
|
Linux
centos 8 换阿里源
centos 8 换阿里源
643 0
|
10月前
|
Linux
百度搜索:蓝易云【如何在CentOS7上搭建自己的GitLab仓库详解?】
现在,您已经成功在CentOS 7上搭建了自己的GitLab仓库。通过GitLab,您可以托管和管理您的代码,并与团队成员协同开发。
275 0
|
10天前
|
Python
python国内原地址
【7月更文挑战第2天】 国内Python用户为加速包安装常使用镜像源,
25 1
|
1月前
|
Python
【Python 训练营】N_8 打印阿姆斯特朗数
【Python 训练营】N_8 打印阿姆斯特朗数
10 0
|
2月前
|
监控 PHP Python
1688快速获取整店铺列表 采集接口php Python
在电子商务的浪潮中,1688平台作为中国领先的批发交易平台,为广大商家提供了一个展示和销售商品的广阔舞台;然而,要在众多店铺中脱颖而出,快速获取商品列表并进行有效营销是关键。
|
10月前
|
关系型数据库 MySQL Linux
百度搜索:蓝易云【Centos8 stream系统编译安装PHP教程。】
以上是在CentOS 8 Stream系统上编译安装PHP的基本教程。请注意,具体的配置和参数可能因您的需求而有所不同,您可以根据自己的情况进行调整。同时,请确保在执行任何操作之前备份重要的文件和配置。
236 0
|
2月前
|
PHP
从建站到拿站 -- PHP判断循环及函数
从建站到拿站 -- PHP判断循环及函数
22 0
|
2月前
|
Linux
百度搜索:蓝易云【centOS7的home目录进行扩容教程。】
你的系统进行相应的调整和替换。此外,确保在进行任何磁盘分区和挂载操作之前,备份重要数据以防止意外数据丢失。
72 0
|
Ubuntu
ubuntu16.0更改国内阿里源,速度起飞,亲测可用
sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup #备份当前也就是默认官方的源列表
1738 0
|
Kubernetes Cloud Native Linux
Docker发家史,诠释我要打十个
微软曾经以天价收购 Docker,接受微软的天价收购,在大多数人看来都是一个非常明智和实际的选择。可是 Solomon Hykes 却多少带有一些理想主义的影子,不甘于“寄人篱下”,选择带领 Docker 公司对抗整个产业的压力。
124 0