12篇学通C#网络编程——第三篇 HTTP应用编程(下)

简介:

    第三篇来的好晚啊,上一篇说了如何向服务器推送信息,这一篇我们看看如何"快好准"的从服务器下拉信息。

    网络上有很多大资源文件,比如供人下载的zip包,电影(你懂的),那么我们如何快速的进行下载,大家第一反应肯定就是多线程下载,

那么这些东西是如何做的呢?首先我们可以从“QQ的中转站里面拉一个rar下来“。

然后用fiddler监视一下,我们会发现一个有趣的现象:

第一:7.62*1024*1024≈7990914  千真万确是此文件

第二:我明明是一个http链接,tmd的怎么变成n多个了?有意思。

好,我们继续往下看,看看这些链接都做了些什么?

最终,我们发现http协议中有一个Conent—Range字段,能够把我们的文件总大小进行切分,然后并行下载,最后再进行合并,大概我们知道

了什么原理,那么,我们强大的C#类库提供了AddRange来获取Http中资源的指定范围。

 

既然进行了切分,那么首先一定要知道文件的ContentLength是多少,如果对http协议比较熟悉的话,当发送一个头信息过去,服务器返回的

头信息中会包含很多东西,此时我们就知道要下载资源的大概情况,这个就有点“兵马未动,粮草先行“的感觉。


var request = (HttpWebRequest)HttpWebRequest.Create(url);

            request.Method = "Head";

            request.Timeout = 3000;

            var response = (HttpWebResponse)request.GetResponse();

            var code = response.StatusCode;

            if (code != HttpStatusCode.OK)
            {
                Console.WriteLine("下载资源无效!");
                return;
            }

            var total = response.ContentLength;

 

这里有个决策,到底是以下载量来决定线程数,还是以线程数来决定下载量,由于我们的下载取决于当前的网速,所以在这种场合下更好的方案是

采用后者,这几天在闪存里面两次看到苍老师,肃然起敬,所以决定在不用线程和线程的情况下,看看下载仓老师的速度如何。

图片大小(217.27KB)

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.Threading;
using System.Threading.Tasks;
using System.IO;
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Drawing;


namespace ConsoleApplication1
{
    public class Program
    {
        public static CountdownEvent cde = new CountdownEvent(0);

        //每个线程下载的字节数,方便最后合并
        public static ConcurrentDictionary<long, byte[]> dic = new ConcurrentDictionary<long, byte[]>();

        //请求文件
        public static string url = "http://www.pncity.net/bbs/data/attachment/forum/201107/30/1901108yyd8gnrs2isadrr.jpg";

        static void Main(string[] args)
        {
            for (int i = 0; i < 1; i++)
            {
                Console.WriteLine("\n****************************\n第{0}次比较\n****************************", (i + 1));

                //不用线程
                //RunSingle();

                //使用多线程
                RunMultiTask();
            }

            Console.Read();
        }

        static void RunMultiTask()
        {
            Stopwatch watch = Stopwatch.StartNew();

            //开5个线程
            int threadCount = 5;

            long start = 0;

            long end = 0;

            var total = GetSourceHead();

            if (total == 0)
                return;

            var pageSize = (int)Math.Ceiling((Double)total / threadCount);

            cde.Reset(threadCount);

            Task[] tasks = new Task[threadCount];

            for (int i = 0; i < threadCount; i++)
            {
                start = i * pageSize;

                end = (i + 1) * pageSize - 1;

                if (end > total)
                    end = total;

                var obj = start + "|" + end;

                tasks[i] = Task.Factory.StartNew(j => new DownFile().DownTaskMulti(obj), obj);
            }

            Task.WaitAll(tasks);

            var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);

            FileStream fs = new FileStream(targetFile, FileMode.Create);

            var result = dic.Keys.OrderBy(i => i).ToList();

            foreach (var item in result)
            {
                fs.Write(dic[item], 0, dic[item].Length);
            }

            fs.Close();

            watch.Stop();

            Console.WriteLine("多线程:下载耗费时间:{0}", watch.Elapsed);
        }

        static void RunSingle()
        {
            Stopwatch watch = Stopwatch.StartNew();

            if (GetSourceHead() == 0)
                return;

            var request = (HttpWebRequest)HttpWebRequest.Create(url);

            var response = (HttpWebResponse)request.GetResponse();

            var stream = response.GetResponseStream();

            var outStream = new MemoryStream();

            var bytes = new byte[10240];

            int count = 0;

            while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
            {
                outStream.Write(bytes, 0, count);
            }

            var targetFile = "C://" + url.Substring(url.LastIndexOf('/') + 1);

            FileStream fs = new FileStream(targetFile, FileMode.Create);

            fs.Write(outStream.ToArray(), 0, (int)outStream.Length);

            outStream.Close();

            response.Close();

            fs.Close();

            watch.Stop();

            Console.WriteLine("不用线程:下载耗费时间:{0}", watch.Elapsed);
        }

        //获取头信息
        public static long GetSourceHead()
        {
            var request = (HttpWebRequest)HttpWebRequest.Create(url);

            request.Method = "Head";
            request.Timeout = 3000;

            var response = (HttpWebResponse)request.GetResponse();

            var code = response.StatusCode;

            if (code != HttpStatusCode.OK)
            {
                Console.WriteLine("下载的资源无效!");
                return 0;
            }

            var total = response.ContentLength;

            Console.WriteLine("当前资源大小为:" + total);

            response.Close();

            return total;
        }
    }

    public class DownFile
    {
        // 多线程下载
        public void DownTaskMulti(object obj)
        {
            var single = obj.ToString().Split('|');

            long start = Convert.ToInt64(single.FirstOrDefault());

            long end = Convert.ToInt64(single.LastOrDefault());

            var request = (HttpWebRequest)HttpWebRequest.Create(Program.url);

            request.AddRange(start, end);

            var response = (HttpWebResponse)request.GetResponse();

            var stream = response.GetResponseStream();

            var outStream = new MemoryStream();

            var bytes = new byte[10240];

            int count = 0;

            while ((count = stream.Read(bytes, 0, bytes.Length)) != 0)
            {
                outStream.Write(bytes, 0, count);
            }

            outStream.Close();

            response.Close();

            Program.dic.TryAdd(start, outStream.ToArray());

            Program.cde.Signal();
        }
    }
}

 

      在下面的图中可以看出,我们的资源被分成了n段,在217.27KB的情况下,多线程加速还不是很明显,我们可以试试更大的文件,这里我就

在本地放一个133M的rar文件。


        //请求文件
        public static string url = "http://localhost:56933/1.rar";

现在看一下效果是非常明显的。


相关文章
|
1天前
|
Kubernetes 安全 Devops
有效抵御网络应用及API威胁,聊聊F5 BIG-IP Next Web应用防火墙
有效抵御网络应用及API威胁,聊聊F5 BIG-IP Next Web应用防火墙
18 10
有效抵御网络应用及API威胁,聊聊F5 BIG-IP Next Web应用防火墙
|
16天前
|
存储 监控 物联网
计算机网络的应用
计算机网络已深入现代生活的多个方面,包括通信与交流(电子邮件、即时通讯、社交媒体)、媒体与娱乐(在线媒体、在线游戏)、商务与经济(电子商务、远程办公)、教育与学习(在线教育平台)、物联网与智能家居、远程服务(远程医疗、智能交通系统)及数据存储与处理(云计算、数据共享与分析)。这些应用极大地方便了人们的生活,促进了社会的发展。
38 2
计算机网络的应用
|
8天前
|
存储 安全 网络安全
网络安全的盾与剑:漏洞防御与加密技术的实战应用
在数字化浪潮中,网络安全成为保护信息资产的重中之重。本文将深入探讨网络安全的两个关键领域——安全漏洞的防御策略和加密技术的应用,通过具体案例分析常见的安全威胁,并提供实用的防护措施。同时,我们将展示如何利用Python编程语言实现简单的加密算法,增强读者的安全意识和技术能力。文章旨在为非专业读者提供一扇了解网络安全复杂世界的窗口,以及为专业人士提供可立即投入使用的技术参考。
|
15天前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
42 8
|
13天前
|
网络协议 物联网 数据处理
C语言在网络通信程序实现中的应用,介绍了网络通信的基本概念、C语言的特点及其在网络通信中的优势
本文探讨了C语言在网络通信程序实现中的应用,介绍了网络通信的基本概念、C语言的特点及其在网络通信中的优势。文章详细讲解了使用C语言实现网络通信程序的基本步骤,包括TCP和UDP通信程序的实现,并讨论了关键技术、优化方法及未来发展趋势,旨在帮助读者掌握C语言在网络通信中的应用技巧。
23 2
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
探索深度学习中的卷积神经网络(CNN)及其在现代应用中的革新
探索深度学习中的卷积神经网络(CNN)及其在现代应用中的革新
|
15天前
|
机器学习/深度学习 人工智能 安全
探索人工智能在网络安全中的创新应用
探索人工智能在网络安全中的创新应用
|
Web App开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
TCP洪水攻击(SYN Flood)的诊断和处理 Posted by  海涛  on 2013 年 7 月 11 日 Tweet1 ​1. SYN Flood介绍 前段时间网站被攻击多次,其中最猛烈的就是TCP洪水攻击,即SYN Flood。
1004 0
|
Web App开发 新零售 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1.尽可能地了解需求,系统层面适用开闭原则 2.模块化,低耦合,能快速响应变化,也可以避免一个子系统的问题波及整个大系统 3.
751 0
|
Web App开发 前端开发 关系型数据库
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
fuser可用于查询文件、目录、socket端口和文件系统的使用进程 1.查询文件和目录使用者 fuser最基本的用法是查询某个文件或目录被哪个进程使用: # fuser -v .
884 0

热门文章

最新文章