C#多线程下载、断点续传的实现

简介: 做Unity热更功能的时候,发现单线程下载大尺寸资源文件的效率太低,专门去研究了下多线程下载,这里记录下相关知识点。

开源项目

首先,放上开源项目地址,基于Unity的下载模块,包含了多线程下载、断点续传的功能,可以直接使用。

https://github.com/GrayGuardian/DownloadFile

实现原理

  • 多线程下载

根据文件尺寸,将文件等分为X个数据段,再开启X个线程,每个线程设置下载起始位置,下载对应的数据段,最终按顺序将X个线程返回的下载数据拼接成一个byte[],后续可以将byte[]保存成文件

  • 断点续传

断点续传需要下载过程中时时写到本地文件,下载开始时,获取本地文件的尺寸X字节,然后设置以X字节为初始位置下载文件

这里可以发现,无论是多线程下载还是断点续传,都需要设置下载文件的起始位置,HTTP请求头的Range字段,可以实现下载部分资源的功能,C#有直接封装好操作Range的函数:

  • httpWebRequest.AddRange(long/int range)

    • 如果 range 为正,则 range 参数指定范围的起始点。 服务器应该开始从 range 指定的参数到 HTTP 实体中数据的末尾发送数据。
    • 如果 range 为负,则 range 参数指定范围的结束点。 服务器应该开始从 HTTP 实体中数据的起始到 range 指定的参数发送数据。
  • httpWebRequest.AddRange(long/int from, long/int to);

    • form:下载起始位置
    • to:下载结束位置

工作流

下面仅介绍多线程下载文件到本地的工作流,具备断点续传的功能

  1. 检查下载文件本地目录是否存在,若不存在,则创建
  2. 检查是否存在下载临时文件,若存在,则通过临时文件数量、尺寸等参数校验缓存数据是否有效,若无效则删除相关临时文件
  3. 检查临时文件的数量是否与线程数量一致,若不一致,则创建缺少的临时文件
  4. 请求URL的头部,获取到文件尺寸Size
  5. 将文件尺寸Size等分为X份的数据段form与to,将form加上临时文件的尺寸
  6. 开启X个线程,设置Range字段下载form到to之间的数据,每次读取到数据,直接写入对应的临时文件
  7. 下载完毕后,创建本地文件,读取临时文件的数据后直接删除,拼接后临时文件数据写入本地文件
相关文章
|
2月前
|
数据采集 Java API
Jsoup库能处理多线程下载吗?
Jsoup库能处理多线程下载吗?
|
5月前
|
数据采集 JavaScript C#
C#图像爬虫实战:从Walmart网站下载图片
C#图像爬虫实战:从Walmart网站下载图片
|
6月前
|
数据采集 XML JavaScript
C# 中 ScrapySharp 的多线程下载策略
C# 中 ScrapySharp 的多线程下载策略
|
4月前
|
监控 前端开发 安全
C#一分钟浅谈:文件上传与下载功能实现
【10月更文挑战第2天】在Web应用开发中,文件的上传与下载是常见需求。本文从基础入手,详细讲解如何在C#环境下实现文件上传与下载。首先介绍前端表单设计及后端接收保存方法,使用`<input type="file">`与`IFormFile`接口;接着探讨错误处理与优化策略,如安全性验证和路径管理;最后讲解文件下载的基本步骤,包括确定文件位置、设置响应头及发送文件流。此外,还提供了进阶技巧,如并发处理、大文件分块上传及进度监控,帮助开发者构建更健壮的应用系统。
219 15
|
4月前
|
C#
如何使用c# 实现断点续传功能
如何使用c# 实现断点续传功能
46 0
|
4月前
|
网络协议 C#
C#:简化版的实现断点续传功能
C#:简化版的实现断点续传功能
61 0
|
5月前
|
安全 数据库连接 API
C#一分钟浅谈:多线程编程入门
在现代软件开发中,多线程编程对于提升程序响应性和执行效率至关重要。本文从基础概念入手,详细探讨了C#中的多线程技术,包括线程创建、管理及常见问题的解决策略,如线程安全、死锁和资源泄露等,并通过具体示例帮助读者理解和应用这些技巧,适合初学者快速掌握C#多线程编程。
103 0
|
3月前
|
C# 开发者
C# 一分钟浅谈:Code Contracts 与契约编程
【10月更文挑战第26天】本文介绍了 C# 中的 Code Contracts,这是一个强大的工具,用于通过契约编程增强代码的健壮性和可维护性。文章从基本概念入手,详细讲解了前置条件、后置条件和对象不变量的使用方法,并通过具体代码示例进行了说明。同时,文章还探讨了常见的问题和易错点,如忘记启用静态检查、过度依赖契约和性能影响,并提供了相应的解决建议。希望读者能通过本文更好地理解和应用 Code Contracts。
60 3
|
2月前
|
存储 安全 编译器
学懂C#编程:属性(Property)的概念定义及使用详解
通过深入理解和使用C#的属性,可以编写更清晰、简洁和高效的代码,为开发高质量的应用程序奠定基础。
116 12