利用WebClient进行数据抓取

简介: //2011-08-15 gb2312方式获取网页源码 public string getGB2312HTML(string url) { string str; using (System.
//2011-08-15 gb2312方式获取网页源码
        public string getGB2312HTML(string url)
        {
            string str;
            using (System.Net.WebClient client = new System.Net.WebClient())
            {
                using (System.IO.Stream stream = client.OpenRead(url))
                {
                    using (System.IO.StreamReader reader = new System.IO.StreamReader(stream, System.Text.Encoding.GetEncoding("gb2312")))
                    {
                        str = reader.ReadToEnd();
                        reader.Close();
                    }
                    stream.Close();
                }
            }
            return str;
        }

        //2011-08-15 UTF-8方式获取网页源码
        public string getUTF8HTML(string url)
        {
            string str;
            using (System.Net.WebClient client = new System.Net.WebClient())
            {
                using (System.IO.Stream stream = client.OpenRead(url))
                {
                    using (System.IO.StreamReader reader = new System.IO.StreamReader(stream, System.Text.Encoding.GetEncoding("UTF-8")))
                    {
                        str = reader.ReadToEnd();
                        reader.Close();
                    }
                    stream.Close();
                }
            }
            return str;
        }


相关文章
遇到SAP WebClient UI的白屏错误,应该如何分析?
遇到SAP WebClient UI的白屏错误,应该如何分析?
89 0
遇到SAP WebClient UI的白屏错误,应该如何分析?
|
Web App开发 移动开发 JavaScript
如何实现SAP WebClient UI附件批量上传
如何实现SAP WebClient UI附件批量上传
190 0
如何实现SAP WebClient UI附件批量上传
|
JavaScript
如何使用SAP CRM WebClient UI实现一个类似新浪微博的字数统计器
如何使用SAP CRM WebClient UI实现一个类似新浪微博的字数统计器
95 0
如何使用SAP CRM WebClient UI实现一个类似新浪微博的字数统计器
|
数据采集 JSON 前端开发
13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息
crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址 有多网站,当你浏览器访问时看到的信息,在html源文件里却找不到,由得信息还是滚动条滚动到对应的位置后才...
2271 0
|
Web App开发 前端开发 数据库
基于comet服务器推送技术(web实时聊天)
http://www.cnblogs.com/zengqinglei/archive/2013/03/31/2991189.html Comet 也称反向 Ajax 或服务器端推技术.其思想很简单:将数据直接从服务器推到浏览器,而不必等到浏览器请求数据。
1869 0
|
Web App开发 JavaScript 前端开发
常见的Web实时消息交互方式和SignalR
原文:常见的Web实时消息交互方式和SignalR 标签: WebSocket SignalR 前言 1. Web消息交互技术 1.1 常见技术 1.2 WebSocket介绍 1.3 WebSocket示例 2.
2019 0
|
Web App开发
SignalR网页实时推送
1.新建项目,选择mvc4 Wed应用程序,选择Internet,视图引擎:Razor 2.在控制器中添加 并添加上视图 3.引用(install-package Microsoft.AspNet.SignalR) 4.
745 0