WebClient 访问间歇性返回403解决方案

简介:

说明:前段时间做的一个项目莫名的返回403的错误,这种情况也多大是程序员最不喜欢的了,没办法先来分析一下错误信息。之前的代码如下:

WebClient webclient = new WebClient();
string u9Str = webclient.DownloadString("http://www.uuu9.com/");

很简单的请求返回string信息的代码,最诧异的是这个返回 “远程服务器返回错误: (403) 已禁止。”的错误还是间歇性的,报错的几率很小但是肯定存在,因为查看错误日志让我找到了这个bug.

解决方案:

1.根据以往的经验推测403错误的原因分析。

2.既然是模拟访问,那么真实的访问是哪些东东呢,访问参数对比。

实施:

1.一般造成403原因是权限设置问题,也就是说可能没有权限造成的,那么访问的时候加上信任权限即可。

代码:webclient.Credentials = CredentialCache.DefaultCredentials; // 添加授权证书

2.真实请求的信息截图:

 

下面引用一段请求标头参数代表含义的信息:

Accept:浏览器可接受的MIME类型。    

Accept-Charset:浏览器可接受的字符集。   

Accept-Encoding:浏览器能够进行解码的数据编码方式,比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。

Accept-Language:浏览器所希望的语言种类,当服务器能够提供一种以上的语言版本时要用到。     Authorization:授权信息,通常出现在对服务器发送的WWW-Authenticate头的应答中。        

Connection:表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”,或者看到请求使用的是HTTP   1.1(HTTP   1.1默认进行持久连接),它就可以利用持久连接的优点,当页面包含多个元素时(例如Applet,图片),显著地减少下载所需要的时间。要实现这一点,Servlet需要在应答中发送一个Content-Length头,最简单的实现方法是:先把内容写入ByteArrayOutputStream,然后在正式写出内容之前计算它的大小。   

Content-Length:表示请求消息正文的长度。   

Cookie:这是最重要的请求头信息之一   

From:请求发送者的email地址,由一些特殊的Web客户程序使用,浏览器不会用到它。   

Host:初始URL中的主机和端口。   

If-Modified-Since:只有当所请求的内容在指定的日期之后又经过修改才返回它,否则返回304“Not  Modified”应答。   

Pragma:指定“no-cache”值表示服务器必须返回一个刷新后的文档,即使它是代理服务器而且已经有了页面的本地拷贝。   

Referer:包含一个URL,用户从该URL代表的页面出发访问当前请求的页面。   

User-Agent:浏览器类型,如果Servlet返回的内容与浏览器类型有关则该值非常有用。   

UA-Pixels,UA-Color,UA-OS,UA-CPU:由某些版本的IE浏览器所发送的非标准的请求头,表示屏幕大小、颜色深度、操作系统和CPU类型。  

每个标头独占一行, 最后必须要有一个空行。有关HTTP头完整、详细的说明,请参见http://www.w3.org/Protocols/的HTTP规范。

看来以上的对照觉得有用的就是2个信息需要设置,Host和User-Agent需要设置,如下:

webclient.Headers.Add("User-Agent", "Microsoft Internet Explorer");

webclient.Headers.Add("Host", "www.uuu9.com");


总结,完整代码如下:

复制代码
WebClient webclient = new WebClient();
string u9Str = webclient.DownloadString("http://www.uuu9.com/");

// 以下为解决方案
webclient.Credentials = CredentialCache.DefaultCredentials; // 添加授权证书
webclient.Headers.Add("User-Agent", "Microsoft Internet Explorer");

webclient.Headers.Add("Host", "www.uuu9.com");
复制代码








本文转自王磊的博客博客园博客,原文链接:http://www.cnblogs.com/vipstone/archive/2011/11/23/2258608.html,如需转载请自行联系原作者
目录
相关文章
|
存储 JSON 人工智能
Spring 5 中文解析测试篇-WebTestClient
本章节主要描述:Spring 5 中文解析测试篇-WebTestClient。
820 0
|
Java
http访问springboot接口出现401 、403、 Forbidden 错误解决方法
http访问springboot接口出现401 、403、 Forbidden 错误解决方法
3010 0
|
数据可视化 数据挖掘 API
NumPy 在科学计算中的角色
【8月更文第30天】NumPy 是 Python 中用于科学计算的核心库之一,它为 Python 提供了高效的数组处理能力。由于其强大的性能和简洁的 API,NumPy 成为了物理学、工程学以及其他科学领域进行数值计算的标准工具。本文将探讨 NumPy 在这些领域的应用,并通过具体的代码示例来展示 NumPy 的强大功能。
262 1
|
Java 编译器 Maven
SpringBoot(二)之parent解析
默认配置spring-boot-maven-plugin,简化构建spring-boot的构建流程。
682 1
|
存储 缓存 IDE
深度探索Linux操作系统 —— 构建initramfs
深度探索Linux操作系统 —— 构建initramfs
954 5
|
微服务 应用服务中间件
微服务跨域(通过网关配置进行跨域)
在单体架构中,我们通常通过SpringMVC配置类实现CORS跨域支持,设置允许的来源、请求头、方法及凭证等。然而,在微服务架构下,因浏览器首先访问网关再进行服务路由,需在网关配置跨域。对于无SpringMVC环境的网关(如使用Gateway组件),我们可在YAML文件中配置`spring.cloud.gateway.globalcors`属性,以实现全局跨域支持。
427 0
|
Cloud Native 安全 数据安全/隐私保护
瓴羊朋新宇:与伙伴共同奔跑,瓴羊宣布开放六大数智底座能力及三大核心服务
瓴羊朋新宇:与伙伴共同奔跑,瓴羊宣布开放六大数智底座能力及三大核心服务
437 0
|
缓存 网络协议 Linux
深入理解Linux网络——本机网络IO
前面的章节深度分析了网络包的接收,也拆分了网络包的发送,总之收发流程算是闭环了。不过还有一种特殊的情况没有讨论,那就是接收和发送都在本机进行。而且实践中这种本机网络IO出现的场景还不少,而且还有越来越多的趋势。例如LNMP技术栈中的nginx和php-fpm进程就是通过本机来通信的,还有流行的微服务中sidecar模式也是本机网络IO。
|
数据挖掘 Python
使用Python和NumPy进行数据分析的实际案例
使用Python和NumPy进行数据分析的实际案例