基于流式的md5计算-多线程下载工具Lwget介绍

实现目标
1. 使用多线程传输，加速下载速度
2. 数据在传输过程中,进行流式md5计算，避免在传输完毕之后校验大文件
3. 支持断点续传
4. 支持http协议和ftp协议
5. 代码尽可能的简单，利于维护

系统依赖
1. perl,版本>=5.8.5
2. linux or windows

目前实现的功能
支持FTP和HTTP下载
支持断点续传（HTTP and FTP）
多线程下载加速（线程数目可以任意指定）
支持限速
 下载的同时进行流式的md5计算，下载完毕即可生成整个文件的md5（可以使用参数指定是否需要计算md5）
命令行参数选项类似于wget
跨平台(windows && linux)
使用示例
./lwget -v 输出帮助信息
 

命令行参数解释
 -d|--debug : 输出debug信息，比如FTP或者HTTP的连接信息
 -c|--continue: 是否需要续传
 -b|--block-size : 指定数据分块大小，默认为3M，测试得出性价比较高
 -s|--limit-rate： 最大速度,默认为25M/s
 -o|--output-file : 下载到本地的文件命名,不指定默认采用源文件名
 -n|--thread-num：下载线程数目，默认为4，建议保持在16以下
 -m|--md5 : 指定是否计算文件md5,-m表示计算md5,且md5文件的命名为输出文件.md5;-m foo.md5 则指定md5文件名称为foo.md5
 -q|--quiet : 屏幕不打印信息,类似于wget -q参数
 -h|--help : 输出帮助信息
 -v|-- version : 打印版本信息

使用范例
性能测试
情景一

情景二

说明:
1. 采用HTTP协议下载对上下游的消耗更少
2. FTP协议下载时,多线程(10个线程以上),大文件(10G左右)会对上游造成较大的压力(cpu_idle降到50%),对下游无特别影响
3. 如果不计算md5,对下游的压力会变的更小
4. 在高速网络中,性能不如wget,wget可以下载到100m/s,而lwget只能达到80m/s的速度,且系统的负载要比使用wget高
5. 限速在20M/s以下的时候,和wget的性能比较接近.
优缺点
优点
 在低速网络中,下载速度很快(很容易的维持在20m/s)
 边下载边计算md5,避免了在文件下载完之后计算md5耗时耗资源(11G的文件做md5校验耗时在5分钟左右,使用lwget可以免去这个时间和消耗)
 lwget代码简洁(只有19K),易于维护
 很方便的支持续传(FTP 和 HTTP)
 可以在windows下直接使用
缺点
 在高速下载的时候,性能不如wget

 不支持整个目录下载