AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求

2017-12-04 856
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

这个需求来自于我最近练手的一个项目，在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放，如果全部采用手工操作工作量大而且繁琐，因此周公决定利用C#来实现。在很多地方都需要验证用户身份才可以进行下一步操作，这就免不了POST请求来登录，在实际过程中发现有些网站登录是HTTPS形式的，在解决过程中遇到了一些小问题，现在跟大家分享。

 通用辅助类
 下面是我编写的一个辅助类，在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求，因为有的时候需要获取认证信息（如Cookie），所以返回的是HttpWebResponse对象，有了返回的HttpWebResponse实例，可以获取登录过程中返回的会话信息，也可以获取响应流。
 代码如下：

 

[c-sharp]  view plain copy
 
  1. using System;  
  2. using System.Collections.Generic;  
  3. using System.Linq;  
  4. using System.Text;  
  5. using System.Net.Security;  
  6. using System.Security.Cryptography.X509Certificates;  
  7. using System.DirectoryServices.Protocols;  
  8. using System.ServiceModel.Security;  
  9. using System.Net;  
  10. using System.IO;  
  11. using System.IO.Compression;  
  12. using System.Text.RegularExpressions;  
  13. /*   
  14.  * 作者：周公(zhoufoxcn)   
  15.  * 日期：2011-05-08   
  16.  * 原文出处：http://blog.csdn.net/zhoufoxcn 或http://zhoufoxcn.blog.51cto.com   
  17.  * 版权说明：本文可以在保留原文出处的情况下使用于非商业用途，周公对此不作任何担保或承诺。   
  18.  * */  
  19. namespace BaiduCang  
  20. {  
  21.     /// <summary>  
  22.     /// 有关HTTP请求的辅助类  
  23.     /// </summary>  
  24.     public class HttpWebResponseUtility  
  25.     {  
  26.         private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";  
  27.         /// <summary>  
  28.         /// 创建GET方式的HTTP请求  
  29.         /// </summary>  
  30.         /// <param name="url">请求的URL</param>  
  31.         /// <param name="timeout">请求的超时时间</param>  
  32.         /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param>  
  33.         /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>  
  34.         /// <returns></returns>  
  35.         public static HttpWebResponse CreateGetHttpResponse(string url,int? timeout, string userAgent,CookieCollection cookies)  
  36.         {  
  37.             if (string.IsNullOrEmpty(url))  
  38.             {  
  39.                 throw new ArgumentNullException("url");  
  40.             }  
  41.             HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;  
  42.             request.Method = "GET";  
  43.             request.UserAgent = DefaultUserAgent;  
  44.             if (!string.IsNullOrEmpty(userAgent))  
  45.             {  
  46.                 request.UserAgent = userAgent;  
  47.             }  
  48.             if (timeout.HasValue)  
  49.             {  
  50.                 request.Timeout = timeout.Value;  
  51.             }  
  52.             if (cookies != null)  
  53.             {  
  54.                 request.CookieContainer = new CookieContainer();  
  55.                 request.CookieContainer.Add(cookies);  
  56.             }  
  57.             return request.GetResponse() as HttpWebResponse;  
  58.         }  
  59.         /// <summary>  
  60.         /// 创建POST方式的HTTP请求  
  61.         /// </summary>  
  62.         /// <param name="url">请求的URL</param>  
  63.         /// <param name="parameters">随同请求POST的参数名称及参数值字典</param>  
  64.         /// <param name="timeout">请求的超时时间</param>  
  65.         /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param>  
  66.         /// <param name="requestEncoding">发送HTTP请求时所用的编码</param>  
  67.         /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>  
  68.         /// <returns></returns>  
  69.         public static HttpWebResponse CreatePostHttpResponse(string url,IDictionary<string,string> parameters,int? timeout, string userAgent,Encoding requestEncoding,CookieCollection cookies)  
  70.         {  
  71.             if (string.IsNullOrEmpty(url))  
  72.             {  
  73.                 throw new ArgumentNullException("url");  
  74.             }  
  75.             if(requestEncoding==null)  
  76.             {  
  77.                 throw new ArgumentNullException("requestEncoding");  
  78.             }  
  79.             HttpWebRequest request=null;  
  80.             //如果是发送HTTPS请求  
  81.             if(url.StartsWith("https",StringComparison.OrdinalIgnoreCase))  
  82.             {  
  83.                 ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);  
  84.                 request = WebRequest.Create(url) as HttpWebRequest;  
  85.                 request.ProtocolVersion=HttpVersion.Version10;  
  86.             }  
  87.             else  
  88.             {  
  89.                 request = WebRequest.Create(url) as HttpWebRequest;  
  90.             }  
  91.             request.Method = "POST";  
  92.             request.ContentType = "application/x-www-form-urlencoded";  
  93.               
  94.             if (!string.IsNullOrEmpty(userAgent))  
  95.             {  
  96.                 request.UserAgent = userAgent;  
  97.             }  
  98.             else  
  99.             {  
  100.                 request.UserAgent = DefaultUserAgent;  
  101.             }  
  102.   
  103.             if (timeout.HasValue)  
  104.             {  
  105.                 request.Timeout = timeout.Value;  
  106.             }  
  107.             if (cookies != null)  
  108.             {  
  109.                 request.CookieContainer = new CookieContainer();  
  110.                 request.CookieContainer.Add(cookies);  
  111.             }  
  112.             //如果需要POST数据  
  113.             if(!(parameters==null||parameters.Count==0))  
  114.             {  
  115.                 StringBuilder buffer = new StringBuilder();  
  116.                 int i = 0;  
  117.                 foreach (string key in parameters.Keys)  
  118.                 {  
  119.                     if (i > 0)  
  120.                     {  
  121.                         buffer.AppendFormat("&{0}={1}", key, parameters[key]);  
  122.                     }  
  123.                     else  
  124.                     {  
  125.                         buffer.AppendFormat("{0}={1}", key, parameters[key]);  
  126.                     }  
  127.                     i++;  
  128.                 }  
  129.                 byte[] data = requestEncoding.GetBytes(buffer.ToString());  
  130.                 using (Stream stream = request.GetRequestStream())  
  131.                 {  
  132.                     stream.Write(data, 0, data.Length);  
  133.                 }  
  134.             }  
  135.             return request.GetResponse() as HttpWebResponse;  
  136.         }  
  137.   
  138.         private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)  
  139.         {  
  140.             return true; //总是接受  
  141.         }  
  142.     }  
  143. }  

 

 从上面的代码中可以看出POST数据到HTTP和HTTPS站点不同，POST数据到HTTPS站点的时候需要设置ServicePointManager类的ServerCertificateValidationCallback属性，并且在POST到https://passport.baidu.com/?login时还需要将HttpWebResquest实例的ProtocolVersion属性设置为HttpVersion.Version10（这个未验证是否所有的HTTPS站点都需要设置），否则在调用GetResponse()方法时会抛出“基础连接已经关闭: 连接被意外关闭。”的异常。
 
 用法举例
 这个类用起来也很简单：
 （1）POST数据到HTTPS站点，用它来登录百度：

 

[c-sharp]  view plain copy
 
  1. string loginUrl = "https://passport.baidu.com/?login";  
  2. string userName = "userName";  
  3. string password = "password";  
  4. string tagUrl = "http://cang.baidu.com/"+userName+"/tags";  
  5. Encoding encoding = Encoding.GetEncoding("gb2312");  
  6.   
  7. IDictionary<string, string> parameters = new Dictionary<string, string>();  
  8. parameters.Add("tpl", "fa");  
  9. parameters.Add("tpl_reg", "fa");  
  10. parameters.Add("u", tagUrl);  
  11. parameters.Add("psp_tt", "0");  
  12. parameters.Add("username", userName);  
  13. parameters.Add("password", password);  
  14. parameters.Add("mem_pass", "1");  
  15. HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null);  
  16. string cookieString = response.Headers["Set-Cookie"];  

 

 （2）发送GET请求到HTTP站点
 在cookieString中包含了服务器端返回的会话信息数据，从中提取了之后可以设置Cookie下次登录时带上这个Cookie就可以以认证用户的信息，假设我们已经登录成功并且获取了Cookie，那么发送GET请求的代码如下：

 

[c-sharp]  view plain copy
 
  1. string userName = "userName";  
  2. string tagUrl = "http://cang.baidu.com/"+userName+"/tags";  
  3. CookieCollection cookies = new CookieCollection();//如何从response.Headers["Set-Cookie"];中获取并设置CookieCollection的代码略  
  4. response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies);  

 (3)发送POST请求到HTTP站点
 以登录51CTO为例

[c-sharp]  view plain copy
 
  1. string loginUrl = "http://home.51cto.com/index.php?s=/Index/doLogin";  
  2. string userName = "userName";  
  3. string password = "password";  
  4.   
  5. IDictionary<string, string> parameters = new Dictionary<string, string>();  
  6. parameters.Add("email", userName);  
  7. parameters.Add("passwd", password);  
  8.   
  9. HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, Encoding.UTF8, null);  

 

 在这里说句题外话，CSDN的登录处理是由http://passport.csdn.net/ajax/accounthandler.ashx这个Handler来处理的。
 
 总结

在本文只是讲解了在C#中发送请求到HTTP和HTTPS的用法，分GET/POST两种方式，为减少一些繁琐和机械的编码，周公将其封装为一个类，发送数据之后返回HttpWebResponse对象实例，利用这个实例我们可以获取服务器端返回的Cookie以便用认证用户的身份继续发送请求，或者读取服务器端响应的内容，不过在读取响应内容时要注意响应格式和编码，本来在这个类中还有读取HTML和WML内容的方法（包括服务器使用压缩方式传输的数据），但限于篇幅和其它方面的原因，此处省略掉了。如有机会，在以后的文章中会继续讲述这方面的内容。

本文转自博客园知识天地的博客，原文链接：在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求，如需转载请自行联系原博主。


文章标签：
C#
.NET
前端开发
SQL
开发框架
关键词：
HTTP https
HTTPS请求
HTTP请求
HTTP get
HTTPS HTTP
云栖希望。
目录
相关文章
小白学大数据
|
12天前
|
安全 API 网络安全
使用OkHttp进行HTTPS请求的Kotlin实现
使用OkHttp进行HTTPS请求的Kotlin实现
小白学大数据
34 1
刘大猫.
|
26天前
|
前端开发 JavaScript 数据库
https页面加载http资源的解决方法
https页面加载http资源的解决方法
刘大猫.
44 4
刘大猫.
|
3月前
|
前端开发 JavaScript 数据库
https页面加载http资源的解决方法
https页面加载http资源的解决方法
刘大猫.
174 7
游客cxtb2yf2r55as
|
2月前
|
安全 应用服务中间件 网络安全
修复HTTPS升级后出现 Mixed Content: The page at 'https://xxx' was loaded over HTTPS, but requested an insecure frame 'http://xxx'. This request has been blocked; the content must be served over HTTPS. 的问题
修复HTTPS升级后出现 Mixed Content: The page at 'https://xxx' was loaded over HTTPS, but requested an insecure frame 'http://xxx'. This request has been blocked; the content must be served over HTTPS. 的问题
游客cxtb2yf2r55as
155 0
游客xusvbxsoy3qma
|
3月前
|
安全 网络安全 数据安全/隐私保护
HTTP与HTTPS协议区别及应用场景
在互联网高速发展的今天，HTTP与HTTPS作为数据传输的基石，作用至关重要。HTTP允许客户端与服务器间传输超文本文档，但其数据传输过程未加密，存在安全隐患；HTTPS则在此基础上加入了SSL/TLS协议，实现了数据加密传输，增强了安全性，广泛应用于电子商务、网上银行、政府网站及社交媒体平台等涉及敏感信息传输的领域，有效保护了用户隐私和数据安全。随着网络安全意识提升，HTTPS正逐渐成为主流。
游客xusvbxsoy3qma
238 3
糜终
|
2月前
|
安全 网络安全 数据安全/隐私保护
HTTPS 请求中的证书验证详解（Python版）
HTTPS 请求中的证书验证详解（Python版）
糜终
129 0
路边两盏灯
|
4月前
|
JavaScript 前端开发 Java
【Azure 环境】各种语言版本或命令，发送HTTP/HTTPS的请求合集
【Azure 环境】各种语言版本或命令，发送HTTP/HTTPS的请求合集
路边两盏灯
39 0
土木林森
|
7月前
|
开发框架 前端开发 .NET
C#编程与Web开发
【4月更文挑战第21天】本文探讨了C#在Web开发中的应用，包括使用ASP.NET框架、MVC模式、Web API和Entity Framework。C#作为.NET框架的主要语言，结合这些工具，能创建动态、高效的Web应用。实际案例涉及企业级应用、电子商务和社交媒体平台。尽管面临竞争和挑战，但C#在Web开发领域的前景将持续拓展。
土木林森
202 3
长梦
|
23天前
|
C# 开发者
C# 一分钟浅谈：Code Contracts 与契约编程
【10月更文挑战第26天】本文介绍了 C# 中的 Code Contracts，这是一个强大的工具，用于通过契约编程增强代码的健壮性和可维护性。文章从基本概念入手，详细讲解了前置条件、后置条件和对象不变量的使用方法，并通过具体代码示例进行了说明。同时，文章还探讨了常见的问题和易错点，如忘记启用静态检查、过度依赖契约和性能影响，并提供了相应的解决建议。希望读者能通过本文更好地理解和应用 Code Contracts。
长梦
30 3
长梦
|
3月前
|
API C#
C# 一分钟浅谈：文件系统编程
在软件开发中，文件系统操作至关重要。本文将带你快速掌握C#中文件系统编程的基础知识，涵盖基本概念、常见问题及解决方法。文章详细介绍了`System.IO`命名空间下的关键类库，并通过示例代码展示了路径处理、异常处理、并发访问等技巧，还提供了异步API和流压缩等高级技巧，帮助你写出更健壮的代码。
长梦
45 2

热门文章

最新文章

  • 1
    【读书笔记】简单工厂模式（c#）
  • 2
    winform+c#之窗体之间的传值
  • 3
    用C#设计一个基于UDP协议的简单网络聊天器
  • 4
    面向对象，结合C#的初次总结
  • 5
    C#生成word查找替换出现的经典问题
  • 6
    C#抓取网页程序的实现浅析
  • 7
    C#关于使用正则表达式解析字符串
  • 8
    C# 数字格式化 ToString
  • 9
    C#分析URL参数获取参数和值得对应列表(一)
  • 10
    C#操作IIS完整解析
  • 1
    HTTPS与HTTP的一些区别
    92
  • 2
    HTTPS协议深度解析
    370
  • 3
    https://developer.aliyun.com/article/1564927（7）
    117
  • 4
    https://blog.csdn.net/a1657054242/article/details/139965955?spm=1001.2014.3001.5502
    42
  • 5
    【Python】已解决：WARNING: Discarding https://pypi.tuna.tsinghua.edu.cn/packages/74/2b/3584369fad8352ed171
    62
  • 6
    若依修改，http和https的两种写法，部署成功的两种写法
    268
  • 7
    支付系统11 -微信支付11-支付安全-https中的数字证书
    71
  • 8
    https【详解】与http的区别，对称加密，非对称加密，证书，解析流程图
    163
  • 9
    文本，文字识别02----PaddleOCR基础概念及介绍，安装和使用，人工智能是一种使计算机模仿人类的一种技术，PaddleOCR的安装地址-https://www.paddlepaddle.org
    149
  • 10
    Get “https://npm.taobao.org/mirrors/node/latest/SHASUMS256.txt“: tls: failed to verify certificate:
    344

    • 相关课程

    更多
  • Java Web开发-Web应用、Tomcat、HTTP请求与响应
  • 云安全基础课- HTTP协议基础

    • 相关电子书

    更多
  • 阿里巴巴HTTP 2.0实践及无线通信协议的演进之路
  • CDN助力企业网站进入HTTPS时代
  • 低代码开发师（初级）实战教程

    • 相关实验场景

    更多
  • 通过轻量消息队列（原MNS）主题HTTP订阅+ARMS实现自定义数据多渠道告警
  • 通过HTTPS加速网关快速部署网站加密
    • 下一篇
    无影云桌面