云桌面系统镜像文件快速分发方案分享SDK

简介: 为了解决云桌面环境下批量升级系统镜像的效率问题,传统的1对多FTP/HTTP方式因服务器带宽限制导致传输慢。一种基于优化的Bittorrent协议的P2P解决方案被提出,利用P2P技术将文件切块并让终端互相分享,提高下载速度,尤其适合大文件如256GB分区镜像的分发。通过自定义IO接口、跳过校验、超大分块、多分块支持及局域网自建Tracker等功能,实现更快的传输和镜像更新,适用于系统镜像、游戏更新等领域。该方案已广泛应用于各行业,可根据不同场景定制优化。

需求:云桌面场景下,需要给单位或者学校客户的数十台设备,批量升级系统镜像文件。
遇到的问题:镜像文件对应一个系统的分区,数据量非常庞大。用了以下方法:
(1)传统方式:1对多模式

改变镜像后,服务器端将这个镜像文件通过ftp/Http等方式,给局域网内的几十台、上百台终端进行发送,即1对多的模式。但问题是单台服务的带宽、磁盘读性能有限,如果是千M局域网,上传能力最高是120MB/s左右,如果有100个终端一起更新下载,每个终端只能获得1.2MB/s的下载速度,如果传输一个256G的分区镜像,需要几天的时间才可以传输完成,周期太长。

(2)衍生方案:
基于以上问题,先服务器传给几台客户机器,等几台机器传完后再通过这些机器下发给另外机器的各种模式。但这种方式需要的时间还是很长。那有没有其他更好的方案,可以更快的完成系统镜像文件的更新呢?

大文件快速分发传输文件的点量BT/P2P方案分享

该方案基于标准的Bittorrent协议进行改进优化的商业P2P SDK引擎,具备完善的P2P功能以及丰富的接口。可以实现,服务器同时给所有终端分发时,自动将文件切分为很多分块,随机给每个终端一个分块。然后每个终端拿到后,再互相连接分享已有的分块,实现一个分布式集群的自主分发,从而实现人越多,下载速度越快、分发效率越高。让每个终端都能获得120MB/s的下载速度。从而让一个本来需要几天才能传输完成的文件,可以在几十分钟就能完成传输。关于点量BT的具体功能,比较多这里不做过多赘述,感兴趣的朋友可以参考http://www.dolit.cn/category/dolit-p2p。
``` DLBT_Startup ();
{
HANDLE download = DLBT_Downloader_Initialize ( "/home/mc/Desktop/test/测试 torrent/测试1.torrent", "/home/mc/Desktop/test/测试download");
while(download)
{
int percent = 0;
unsigned int speed = 0;
if(DLBT_Downloader_GetTotalWanted(download))
{
percent = (int)(DLBT_Downloader_GetTotalWantedDone(download)*100/DLBT_Downloader_GetTotalWanted(download));
}
speed = DLBT_Downloader_GetDownloadSpeed(download);
DOWNLOADER_INFO info;
KERNEL_INFO kinfo;
DLBT_GetKernelInfo (&kinfo);

        DLBT_GetDownloaderInfo (download, &info);

        std::cout<<"received " << percent << " % - speed " << speed << std::endl;
        sleep(1);
        if( DLBT_Downloader_GetTotalWantedDone(download) == DLBT_Downloader_GetTotalWanted(download))
        {
            DLBT_Downloader_Release(download);
            download = 0;
            break;
        }
    }
}

```

目前该方案已经广泛被多家厂商用于大文件以及超大文件的传输,比如影院原始拷贝分发、超大蓝光电影分发、系统镜像、游戏的更新、教培类文件的定时批量更新等。虽然主要功能都类似,解决的都是大文件快速分发传输的问题,但针对不同的细分行业还有所区别,比如游戏行业更重要的是对比更新功能,而影音行业会要求边下边播。具体在系统镜像传输领域,点量BT除了传统P2P的功能外,还针对该场景做了如下高级功能,更好的解决该场景下的实际需求:

1、提供自定义IO接口
可以将P2P内部所有针对文件、文件夹的IO操作,调用外部自定义的IO函数,这样就可以实现分区的读写等由外部用户自定义处理,可以针对/dev/sda1等分区直接当一个标准文件处理,用来制作torrent文件、进行文件的读写。
用户通过自定义对磁盘分区、镜像的读写函数、查看文件大小、属性等函数,将分区当做一个标准文件处理。

2、镜像下载优化版,可设置跳过传统校验
专门提供镜像下载优化版本,可设置跳过传统校验:磁盘镜像分区比较大,传统BT/P2P在进行分块校验等操作时会耗费时间太久,通过自定义IO,以及高级设置,可以跳过这些校验,提升制作种子、下载完成的时间。由外部校验镜像完整性。

3、自定义设置文件分块大小
由于磁盘分区镜像可能是256G甚至更大的文件,因此建议设置4M等超大分块大小,这些在普通BT软件里面是不支持的。

4、支持更多分块数量
镜像下载优化版本的点量BT可以支持4M/8M等超大分块大小,以及更多的分块数量支持。也可通过自定义IO,可以将一个超大镜像,拆分成多个虚拟文件,比如每个虚拟文件64G,以实现更好的并发传输效果。

5、支持局域网自建Tracker,提升P2P效率
针对局域网传输,可通过高级参数去除UPnP等映射,以及停止局域网自动发现。支持设置局域网自建Tracker,通过局域网Tracker的策略高效调度,以及指定节点之间的传输关系,可以减少多层路由器的多级子网下的端口映射干扰,让P2P连接更直接、迅速。此外除了针对Windows下的sdk ,还可提供Linux下的sdk以及对应的tracker,满足多场景的实际需求。

相关文章
|
17天前
|
网络协议 安全 调度
阿里云公共DNS发布支持鸿蒙系统版的SDK
阿里云公共DNS发布支持鸿蒙系统版SDK,赋能鸿蒙开发者快速接入阿里云公共DNS服务。公共DNS将帮助接入的鸿蒙应用免除LocalDNS劫持困扰、解析加速、精准调度。
|
7天前
|
缓存 算法 Java
反射埋点方案: 全局点击埋点代理OnClickListener SDK 编写
反射埋点方案: 全局点击埋点代理OnClickListener SDK 编写
9 0
|
8天前
|
XML 开发工具 iOS开发
替代微信ipad协议的sdk方案分享
替代微信ipad协议的sdk方案分享
|
1月前
|
Web App开发 前端开发 JavaScript
如何快速与呼叫中心系统CTI/API/SDK接口集成
由于呼叫中心系统涉及通信、CTI、终端设备、中继线路等技术与概念,从事信息管理系统、ERP、CRM、工单系统等的研发人员一般不是非常熟悉这部分技术,当需要提供具备呼叫中心能力的解决方案时,往往要用较多的时间来研究这些相对复杂的技术,对接过程比较长,开发调试有一定的阻力,基于此,我们提出一种更加简便高效的集成方法,可以零代码集成呼叫中心平台,实现项目快速上线。
如何快速与呼叫中心系统CTI/API/SDK接口集成
|
1月前
|
负载均衡 算法 Java
SDK并发调用优化方案
SDK并发调用优化方案
|
1月前
|
前端开发
命令行创建React项目
命令行创建React项目
命令行创建React项目
|
11月前
|
JavaScript Java 开发工具
在Windows系统对接良田高拍仪驱动SDK (EloamView java)
良田高拍仪驱动是能较好的与Java平台交互的,但不知为何官方的SDK驱动中已没有java的samples,但我在2021年使用时是有java的包的,特意记录一下我在IDEA开发工具中测试运行这个demo的过程
745 0
在Windows系统对接良田高拍仪驱动SDK (EloamView java)
|
1月前
|
JavaScript Java Maven
云效产品使用常见问题之android sdk 构建出aar后,上传到私有maven仓库失败如何解决
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
8月前
|
API 开发工具 Android开发
解决 Android App 上架 Google play后 ,签名变更,第三方sdk无法登录
解决 Android App 上架 Google play后 ,签名变更,第三方sdk无法登录
183 0