需求:云桌面场景下,需要给单位或者学校客户的数十台设备,批量升级系统镜像文件。
遇到的问题:镜像文件对应一个系统的分区,数据量非常庞大。用了以下方法:
(1)传统方式:1对多模式
改变镜像后,服务器端将这个镜像文件通过ftp/Http等方式,给局域网内的几十台、上百台终端进行发送,即1对多的模式。但问题是单台服务的带宽、磁盘读性能有限,如果是千M局域网,上传能力最高是120MB/s左右,如果有100个终端一起更新下载,每个终端只能获得1.2MB/s的下载速度,如果传输一个256G的分区镜像,需要几天的时间才可以传输完成,周期太长。
(2)衍生方案:
基于以上问题,先服务器传给几台客户机器,等几台机器传完后再通过这些机器下发给另外机器的各种模式。但这种方式需要的时间还是很长。那有没有其他更好的方案,可以更快的完成系统镜像文件的更新呢?
大文件快速分发传输文件的点量BT/P2P方案分享
该方案基于标准的Bittorrent协议进行改进优化的商业P2P SDK引擎,具备完善的P2P功能以及丰富的接口。可以实现,服务器同时给所有终端分发时,自动将文件切分为很多分块,随机给每个终端一个分块。然后每个终端拿到后,再互相连接分享已有的分块,实现一个分布式集群的自主分发,从而实现人越多,下载速度越快、分发效率越高。让每个终端都能获得120MB/s的下载速度。从而让一个本来需要几天才能传输完成的文件,可以在几十分钟就能完成传输。关于点量BT的具体功能,比较多这里不做过多赘述,感兴趣的朋友可以参考http://www.dolit.cn/category/dolit-p2p。
``` DLBT_Startup ();
{
HANDLE download = DLBT_Downloader_Initialize ( "/home/mc/Desktop/test/测试 torrent/测试1.torrent", "/home/mc/Desktop/test/测试download");
while(download)
{
int percent = 0;
unsigned int speed = 0;
if(DLBT_Downloader_GetTotalWanted(download))
{
percent = (int)(DLBT_Downloader_GetTotalWantedDone(download)*100/DLBT_Downloader_GetTotalWanted(download));
}
speed = DLBT_Downloader_GetDownloadSpeed(download);
DOWNLOADER_INFO info;
KERNEL_INFO kinfo;
DLBT_GetKernelInfo (&kinfo);
DLBT_GetDownloaderInfo (download, &info);
std::cout<<"received " << percent << " % - speed " << speed << std::endl;
sleep(1);
if( DLBT_Downloader_GetTotalWantedDone(download) == DLBT_Downloader_GetTotalWanted(download))
{
DLBT_Downloader_Release(download);
download = 0;
break;
}
}
}
```
目前该方案已经广泛被多家厂商用于大文件以及超大文件的传输,比如影院原始拷贝分发、超大蓝光电影分发、系统镜像、游戏的更新、教培类文件的定时批量更新等。虽然主要功能都类似,解决的都是大文件快速分发传输的问题,但针对不同的细分行业还有所区别,比如游戏行业更重要的是对比更新功能,而影音行业会要求边下边播。具体在系统镜像传输领域,点量BT除了传统P2P的功能外,还针对该场景做了如下高级功能,更好的解决该场景下的实际需求:
1、提供自定义IO接口
可以将P2P内部所有针对文件、文件夹的IO操作,调用外部自定义的IO函数,这样就可以实现分区的读写等由外部用户自定义处理,可以针对/dev/sda1等分区直接当一个标准文件处理,用来制作torrent文件、进行文件的读写。
用户通过自定义对磁盘分区、镜像的读写函数、查看文件大小、属性等函数,将分区当做一个标准文件处理。
2、镜像下载优化版,可设置跳过传统校验
专门提供镜像下载优化版本,可设置跳过传统校验:磁盘镜像分区比较大,传统BT/P2P在进行分块校验等操作时会耗费时间太久,通过自定义IO,以及高级设置,可以跳过这些校验,提升制作种子、下载完成的时间。由外部校验镜像完整性。
3、自定义设置文件分块大小
由于磁盘分区镜像可能是256G甚至更大的文件,因此建议设置4M等超大分块大小,这些在普通BT软件里面是不支持的。
4、支持更多分块数量
镜像下载优化版本的点量BT可以支持4M/8M等超大分块大小,以及更多的分块数量支持。也可通过自定义IO,可以将一个超大镜像,拆分成多个虚拟文件,比如每个虚拟文件64G,以实现更好的并发传输效果。
5、支持局域网自建Tracker,提升P2P效率
针对局域网传输,可通过高级参数去除UPnP等映射,以及停止局域网自动发现。支持设置局域网自建Tracker,通过局域网Tracker的策略高效调度,以及指定节点之间的传输关系,可以减少多层路由器的多级子网下的端口映射干扰,让P2P连接更直接、迅速。此外除了针对Windows下的sdk ,还可提供Linux下的sdk以及对应的tracker,满足多场景的实际需求。