WebClient 访问间歇性返回403解决方案

简介:

说明:前段时间做的一个项目莫名的返回403的错误,这种情况也多大是程序员最不喜欢的了,没办法先来分析一下错误信息。之前的代码如下:

WebClient webclient = new WebClient();
string u9Str = webclient.DownloadString("http://www.uuu9.com/");

很简单的请求返回string信息的代码,最诧异的是这个返回 “远程服务器返回错误: (403) 已禁止。”的错误还是间歇性的,报错的几率很小但是肯定存在,因为查看错误日志让我找到了这个bug.

解决方案:

1.根据以往的经验推测403错误的原因分析。

2.既然是模拟访问,那么真实的访问是哪些东东呢,访问参数对比。

实施:

1.一般造成403原因是权限设置问题,也就是说可能没有权限造成的,那么访问的时候加上信任权限即可。

代码:webclient.Credentials = CredentialCache.DefaultCredentials; // 添加授权证书

2.真实请求的信息截图:

 

下面引用一段请求标头参数代表含义的信息:

Accept:浏览器可接受的MIME类型。    

Accept-Charset:浏览器可接受的字符集。   

Accept-Encoding:浏览器能够进行解码的数据编码方式,比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。

Accept-Language:浏览器所希望的语言种类,当服务器能够提供一种以上的语言版本时要用到。     Authorization:授权信息,通常出现在对服务器发送的WWW-Authenticate头的应答中。        

Connection:表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”,或者看到请求使用的是HTTP   1.1(HTTP   1.1默认进行持久连接),它就可以利用持久连接的优点,当页面包含多个元素时(例如Applet,图片),显著地减少下载所需要的时间。要实现这一点,Servlet需要在应答中发送一个Content-Length头,最简单的实现方法是:先把内容写入ByteArrayOutputStream,然后在正式写出内容之前计算它的大小。   

Content-Length:表示请求消息正文的长度。   

Cookie:这是最重要的请求头信息之一   

From:请求发送者的email地址,由一些特殊的Web客户程序使用,浏览器不会用到它。   

Host:初始URL中的主机和端口。   

If-Modified-Since:只有当所请求的内容在指定的日期之后又经过修改才返回它,否则返回304“Not  Modified”应答。   

Pragma:指定“no-cache”值表示服务器必须返回一个刷新后的文档,即使它是代理服务器而且已经有了页面的本地拷贝。   

Referer:包含一个URL,用户从该URL代表的页面出发访问当前请求的页面。   

User-Agent:浏览器类型,如果Servlet返回的内容与浏览器类型有关则该值非常有用。   

UA-Pixels,UA-Color,UA-OS,UA-CPU:由某些版本的IE浏览器所发送的非标准的请求头,表示屏幕大小、颜色深度、操作系统和CPU类型。  

每个标头独占一行, 最后必须要有一个空行。有关HTTP头完整、详细的说明,请参见http://www.w3.org/Protocols/的HTTP规范。

看来以上的对照觉得有用的就是2个信息需要设置,Host和User-Agent需要设置,如下:

webclient.Headers.Add("User-Agent", "Microsoft Internet Explorer");

webclient.Headers.Add("Host", "www.uuu9.com");


总结,完整代码如下:

复制代码
WebClient webclient = new WebClient();
string u9Str = webclient.DownloadString("http://www.uuu9.com/");

// 以下为解决方案
webclient.Credentials = CredentialCache.DefaultCredentials; // 添加授权证书
webclient.Headers.Add("User-Agent", "Microsoft Internet Explorer");

webclient.Headers.Add("Host", "www.uuu9.com");
复制代码








本文转自王磊的博客博客园博客,原文链接:http://www.cnblogs.com/vipstone/archive/2011/11/23/2258608.html,如需转载请自行联系原作者
目录
相关文章
|
Java
http访问springboot接口出现401 、403、 Forbidden 错误解决方法
http访问springboot接口出现401 、403、 Forbidden 错误解决方法
4002 0
|
小程序
UniApp上传图片
小程序大家应该都知道,通过上传组件得到的都是本地的一个临时路径,这个路径是不能被外网访问的,所以我们就需要将拿到的临时路径转成Base64上传到后台服务器。或者说是另外一个办法,就是通过组件直接上传文件,这个看需求设计吧。
878 0
|
自然语言处理 JavaScript 前端开发
从模糊搜索到语义搜索的进化之路——探索 Chroma 在大模型中的应用价值
Chroma 提供了一种新型的搜索方式,通过语义搜索替代传统的关键词匹配,大大提高了信息检索的精度和用户体验。在信息爆炸的时代,语义搜索的出现满足了人们对高效信息获取的需求。随着大模型的发展,Chroma 等技术将会进一步提升信息检索的智能化水平,为各类应用场景带来更多可能性。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
从模糊搜索到语义搜索的进化之路——探索 Chroma 在大模型中的应用价值
|
存储 人工智能 监控
2025 年可观测 10 大趋势预测
下述报告主要整理自各大网站发布的对 2025 年可观测趋势的预测,作者合并同类项汇总 10 个共性的趋势,欢迎大家一起讨论。
|
人工智能 缓存 自然语言处理
阿里云 × 天润融通:基于智能体的企业营销与客户服务实践分享
本次分享由阿里云与天润融通联合呈现,主题为“基于智能体的企业营销与客户服务实践”。主讲人安静波(北京天润融通科技股份有限公司CTO)将介绍天润融通的智能体平台架构及其在企业营销和客服场景中的应用。内容涵盖天润融通的发展历程、基于阿里云的AICC架构、智能体平台的技术细节及优化实践,并通过客户案例展示如何通过智能体提升营销转化率和客户满意度。重点探讨了智能体在实时响应、打断处理等方面的优化措施,以及大模型的应用经验。
1330 0
|
开发框架 安全 .NET
C#面:Server.UrlEncode、HttpUtility.UrlDecode的区别
通过上述详细的解释和实例分析,相信大家对 `Server.UrlEncode` 和 `HttpUtility.UrlDecode` 的区别有了更深刻的理解,并能在实际开发中灵活运用。
533 0
|
算法 数据安全/隐私保护 C++
超级好用的C++实用库之MD5信息摘要算法
超级好用的C++实用库之MD5信息摘要算法
454 0
|
Java 编译器 Maven
SpringBoot(二)之parent解析
默认配置spring-boot-maven-plugin,简化构建spring-boot的构建流程。
1357 1
|
存储 消息中间件 缓存
并发编程 - 通过 Disruptor 来实现无锁无阻塞的并发编程
并发编程 - 通过 Disruptor 来实现无锁无阻塞的并发编程
1438 1
|
算法 JavaScript 前端开发
编程入门:从零开始学习编程的方法与步骤
编程入门:从零开始学习编程的方法与步骤