C#多线程下载、断点续传的实现

简介: 做Unity热更功能的时候,发现单线程下载大尺寸资源文件的效率太低,专门去研究了下多线程下载,这里记录下相关知识点。

开源项目

首先,放上开源项目地址,基于Unity的下载模块,包含了多线程下载、断点续传的功能,可以直接使用。

https://github.com/GrayGuardian/DownloadFile

实现原理

  • 多线程下载

根据文件尺寸,将文件等分为X个数据段,再开启X个线程,每个线程设置下载起始位置,下载对应的数据段,最终按顺序将X个线程返回的下载数据拼接成一个byte[],后续可以将byte[]保存成文件

  • 断点续传

断点续传需要下载过程中时时写到本地文件,下载开始时,获取本地文件的尺寸X字节,然后设置以X字节为初始位置下载文件

这里可以发现,无论是多线程下载还是断点续传,都需要设置下载文件的起始位置,HTTP请求头的Range字段,可以实现下载部分资源的功能,C#有直接封装好操作Range的函数:

  • httpWebRequest.AddRange(long/int range)

    • 如果 range 为正,则 range 参数指定范围的起始点。 服务器应该开始从 range 指定的参数到 HTTP 实体中数据的末尾发送数据。
    • 如果 range 为负,则 range 参数指定范围的结束点。 服务器应该开始从 HTTP 实体中数据的起始到 range 指定的参数发送数据。
  • httpWebRequest.AddRange(long/int from, long/int to);

    • form:下载起始位置
    • to:下载结束位置

工作流

下面仅介绍多线程下载文件到本地的工作流,具备断点续传的功能

  1. 检查下载文件本地目录是否存在,若不存在,则创建
  2. 检查是否存在下载临时文件,若存在,则通过临时文件数量、尺寸等参数校验缓存数据是否有效,若无效则删除相关临时文件
  3. 检查临时文件的数量是否与线程数量一致,若不一致,则创建缺少的临时文件
  4. 请求URL的头部,获取到文件尺寸Size
  5. 将文件尺寸Size等分为X份的数据段form与to,将form加上临时文件的尺寸
  6. 开启X个线程,设置Range字段下载form到to之间的数据,每次读取到数据,直接写入对应的临时文件
  7. 下载完毕后,创建本地文件,读取临时文件的数据后直接删除,拼接后临时文件数据写入本地文件
相关文章
|
21天前
|
数据采集 Java API
Jsoup库能处理多线程下载吗?
Jsoup库能处理多线程下载吗?
|
3月前
|
数据采集 JavaScript C#
C#图像爬虫实战:从Walmart网站下载图片
C#图像爬虫实战:从Walmart网站下载图片
|
4月前
|
数据采集 XML JavaScript
C# 中 ScrapySharp 的多线程下载策略
C# 中 ScrapySharp 的多线程下载策略
|
2月前
|
监控 前端开发 安全
C#一分钟浅谈:文件上传与下载功能实现
【10月更文挑战第2天】在Web应用开发中,文件的上传与下载是常见需求。本文从基础入手,详细讲解如何在C#环境下实现文件上传与下载。首先介绍前端表单设计及后端接收保存方法,使用`<input type="file">`与`IFormFile`接口;接着探讨错误处理与优化策略,如安全性验证和路径管理;最后讲解文件下载的基本步骤,包括确定文件位置、设置响应头及发送文件流。此外,还提供了进阶技巧,如并发处理、大文件分块上传及进度监控,帮助开发者构建更健壮的应用系统。
154 15
|
2月前
|
C#
如何使用c# 实现断点续传功能
如何使用c# 实现断点续传功能
32 0
|
2月前
|
网络协议 C#
C#:简化版的实现断点续传功能
C#:简化版的实现断点续传功能
38 0
|
3月前
|
安全 数据库连接 API
C#一分钟浅谈:多线程编程入门
在现代软件开发中,多线程编程对于提升程序响应性和执行效率至关重要。本文从基础概念入手,详细探讨了C#中的多线程技术,包括线程创建、管理及常见问题的解决策略,如线程安全、死锁和资源泄露等,并通过具体示例帮助读者理解和应用这些技巧,适合初学者快速掌握C#多线程编程。
88 0
|
2天前
|
NoSQL Redis
单线程传奇Redis,为何引入多线程?
Redis 4.0 引入多线程支持,主要用于后台对象删除、处理阻塞命令和网络 I/O 等操作,以提高并发性和性能。尽管如此,Redis 仍保留单线程执行模型处理客户端请求,确保高效性和简单性。多线程仅用于优化后台任务,如异步删除过期对象和分担读写操作,从而提升整体性能。
12 1
|
2月前
|
存储 消息中间件 资源调度
C++ 多线程之初识多线程
这篇文章介绍了C++多线程的基本概念,包括进程和线程的定义、并发的实现方式,以及如何在C++中创建和管理线程,包括使用`std::thread`库、线程的join和detach方法,并通过示例代码展示了如何创建和使用多线程。
60 1