WebRequest 后台访问网页内容

简介: 1 方法封装:   public static class WebFunc    { public static string GetHtml(string url, Encoding encoding)        {            string html = string.

1 方法封装: 

 public static class WebFunc
    {

public static string GetHtml(string url, Encoding encoding)
        {
            string html = string.Empty;
            try
            {
                WebRequest request;
                request = WebRequest.Create(url);
                request.Credentials = CredentialCache.DefaultCredentials;
                request.Timeout = 20000;
                WebResponse response;
                response = request.GetResponse();
                html = new StreamReader(response.GetResponseStream(), encoding).ReadToEnd();
            }
            catch(System.UriFormatException uex)
            {
                LogHelper.Error(string.Format("ex:{0}, url:{1}", uex, url));
            }
            catch (System.Net.WebException ex)
            {
                LogHelper.Error(string.Format("ex:{0}, url:{1}", ex, url));
            }
            return html;
        }

}

 

调用:  string contents = WebFunc.GetHtml(url,Encoding.GetEncoding("gb2312"));

相关文章
|
7天前
|
测试技术
用navigator.sendBeacon完成网页埋点异步请求记录用户行为,当网页关闭的时候,依然后完美完成接口请求,不会因为浏览器关闭了被中断请求。
用navigator.sendBeacon完成网页埋点异步请求记录用户行为,当网页关闭的时候,依然后完美完成接口请求,不会因为浏览器关闭了被中断请求。
|
缓存 前端开发 JavaScript
YII2.0网站如何减少网站首页的HTTP请求?底层原理是什么?
YII2.0网站如何减少网站首页的HTTP请求?底层原理是什么?
|
网络安全
Could not get any response postman报错 但是浏览器可以访问
Could not get any response postman报错 但是浏览器可以访问
218 0
Could not get any response postman报错 但是浏览器可以访问
7、web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理
如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执行下去 1.
1376 0
|
前端开发 Java 数据格式
解决ajax跨域问题的一种方法
解决ajax跨域问题的一种方法 前后端分离经常用json来传输数据,比较常见的问题就有ajax跨域请求的错误问题,这里是我的一种解决方法: 在java中加入如下的注解类: import org.
912 0
|
JSON 数据格式 前端开发
ajax请求正常,返回json格式,后台没问题,浏览器500
1.使用的是springmvc中的 @ResponseBody 注解   ,后台不报错,。正常走完;以为使用这个注解就可以正常返回json格式的数据;所以一直没有怀疑是注解的问题;   以为是ajax本身的问题  ;后来将返回数据改为纯数字又没有问题了。
1425 0