Linux系统中下载文件的wget命令行工具

简介:

简介

Linux系统中的wget是一个下载文件的命令行工具。

对于Linux用户是必不可少的工具,对于经常要下载一些软件或从远程服务器恢复备份到本地服务器,这个命令尤为重要。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。

自动下载

wget支持自动下载,即wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,这是个牛气冲天的功能。

完全重建

wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget 遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

高稳定

wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

命令格式

wget [参数] [URL地址]

用于从网络上下载资源,没有指定目录,下载资源回默认为当前目录。wget虽然功能强大,但是使用起来还是比较简单:

wget下面的特点是使用它主要考虑的方面:

  1. 支持断点下传功能,可以让网络不是太好的用户可以放心了
  2. 同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件
  3. 支持代理服务器
  4. 设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标
  5. 程序小,完全免费

使用范例

wget的命令参数很多,不过常用的为下面几个,详细的可以看最后。

使用wget下载单个文件

比如,我们下载个Ubuntu的最新版本,试下效果如何

  
  
  1. wget http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。

使用wget -O下载并以不同的文件名保存

这个对于动态链接的下载比较有用

  
  
  1. wget -O wordpress.zip http://www.ubuntu.com/download.aspx?id=1234 

使用wget –limit -rate限速下载

  
  
  1. wget --limit-rate=300k http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。

使用wget -c断点续传

  
  
  1. wget -c http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

使用wget -c重新启动下载中断的文件,对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。

使用wget -b后台下载

  
  
  1. wget -b http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 

对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。

  
  
  1. wget -b http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso Continuing in background, pid 1840. Output will be written to `wget-log'. 

你可以使用以下命令来察看下载进度:

  
  
  1. tail -f wget-log 

使用wget –tries增加重试次数

  
  
  1. wget --tries=40 URL 

如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

使用wget -i下载多个文件

  
  
  1. wget -i filelist.txt 

首先,保存一份下载链接文件

  
  
  1. cat > filelist.txt url1 url2 url3 url4  

接着使用这个文件和参数-i下载

使用wget –reject过滤指定格式下载

  
  
  1. wget --reject=gif ur 

下载一个网站,但你不希望下载图片,可以使用以下命令。

使用wget -o把下载信息存入日志文件

  
  
  1. wget -o download.log URL 

不希望下载信息直接显示在终端而是在一个日志文件,可以使用

使用wget -Q限制总下载文件大小

  
  
  1. wget -Q5m -i filelist.txt 

当你想要下载的文件超过5M而退出下载,你可以使用。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

使用wget -r -A下载指定格式文件

  
  
  1. wget -r -A.pdf url 

可以在以下情况使用该功能:

  • 下载一个网站的所有图片
  • 下载一个网站的所有视频
  • 下载一个网站的所有PDF文件

使用wget FTP下载

可以使用wget来完成ftp链接的下载。

使用wget匿名ftp下载:

  
  
  1. wget ftp-url 

使用wget用户名和密码认证的ftp下载

  
  
  1. wget --ftp-user=USERNAME --ftp-password=PASSWORD url   




作者:十月天文
来源:51CTO
目录
相关文章
|
10天前
|
Linux 定位技术
Linux系统中的cd命令:目录切换技巧
踏过千山,越过万水,人生就是一场不断前行的旅程,总充满了未知与挑战。然而,“cd”命令如同你的旅伴,会带你穿梭在如棋盘一般的文件系统中,探索每一处未知。希望你能从“cd”命令中找到乐趣,像是掌控了一种络新妙的魔法,去向未知进发,开始你的探索之旅。
83 24
|
3天前
|
Linux Shell
Linux系统下快速批量创建和删除文件的方法
总的来说,使用shell脚本来批量处理文件是一种非常强大的工具,只要你愿意花时间学习和实践,你会发现它能大大提高你的工作效率。
39 19
|
13天前
|
安全 Shell Linux
Linux系统之su命令的基本使用
Linux系统之su命令的基本使用
59 2
Linux系统之su命令的基本使用
|
5天前
|
Ubuntu Linux 编译器
在Ubuntu Linux系统下如何搭建并安装EDK2
以上就是在Ubuntu Linux系统下搭建并安装EDK2的过程。这个过程可能会有些复杂,但只要按照步骤一步步来,应该不会有太大问题。如果在过程中遇到任何问题,都可以在网上找到相应的解决方案。希望这个指南能对你有所帮助!
45 17
|
27天前
|
监控 Linux Python
Linux系统资源管理:多角度查看内存使用情况。
要知道,透过内存管理的窗口,我们可以洞察到Linux系统运行的真实身姿,如同解剖学家透过微观镜,洞察生命的奥秘。记住,不要惧怕那些高深的命令和参数,他们只是你掌握系统"魔法棒"的钥匙,熟练掌握后,你就可以骄傲地说:Linux,我来了!
113 27
|
27天前
|
监控 Linux
Linux基础:文件和目录类命令分析。
总的来说,这些基础命令,像是Linux中藏匿的小矮人,每一次我们使用他们,他们就把我们的指令准确的传递给Linux,让我们的指令变为现实。所以,现在就开始你的Linux之旅,挥动你的命令之剑,探索这个充满神秘而又奇妙的世界吧!
70 19
|
21天前
|
缓存 Linux
如何创建Linux交换文件?Linux交换文件最新创建方法
Swap是Linux中的虚拟内存空间,用于在物理内存不足时将非活动进程移至磁盘,从而优化活动进程的性能。通过创建交换文件(如1GB),可灵活调整交换空间而无需重新分区。步骤包括:使用`fallocate`或`dd`创建文件、设置权限 (`chmod 600`)、格式化 (`mkswap`)、启用交换 (`swapon`)、修改`/etc/fstab`以持久化配置,以及调整`vm.swappiness`值(默认60,建议从10开始)来平衡内存与交换的使用。最后通过`swapon -s`检查状态并重启生效。此方法适用于VPS和专用服务器,需以root用户操作。
45 2
|
1月前
|
Linux
Linux系统ext4磁盘扩容实践指南
这个过程就像是给你的房子建一个新的储物间。你需要先找到空地(创建新的分区),然后建造储物间(格式化为ext4文件系统),最后将储物间添加到你的房子中(将新的分区添加到文件系统中)。完成这些步骤后,你就有了一个更大的储物空间。
133 10
|
1月前
|
存储 NoSQL Linux
微服务2——MongoDB单机部署4——Linux系统中的安装启动和连接
本节主要介绍了在Linux系统中安装、启动和连接MongoDB的详细步骤。首先从官网下载MongoDB压缩包并解压至指定目录,接着创建数据和日志存储目录,并配置`mongod.conf`文件以设定日志路径、数据存储路径及绑定IP等参数。之后通过配置文件启动MongoDB服务,并使用`mongo`命令或Compass工具进行连接测试。此外,还提供了防火墙配置建议以及服务停止的两种方法:快速关闭(直接杀死进程)和标准关闭(通过客户端命令安全关闭)。最后补充了数据损坏时的修复操作,确保数据库的稳定运行。
82 0
|
9月前
|
Ubuntu Linux
Linux软件安装-Linux系统靠yum命令安装软件,yum命令是一个RPM包软件管理器,用于自动化安装配置Linux软件,.rpm是Linux包下的软件,yum install下载 wget re
Linux软件安装-Linux系统靠yum命令安装软件,yum命令是一个RPM包软件管理器,用于自动化安装配置Linux软件,.rpm是Linux包下的软件,yum install下载 wget re
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等