开发者社区> 一线码农> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

玩玩小爬虫——抓取动态页面

简介:
+关注继续查看

       在ajax横行的年代,很多网页的内容都是动态加载的,而我们的小爬虫抓取的仅仅是web服务器返回给我们的html,这其中就

跳过了js加载的部分,也就是说爬虫抓取的网页是残缺的,不完整的,下面可以看下博客园首页

从首页加载中我们看到,在页面呈现后,还会有5个ajax异步请求,在默认的情况下,爬虫是抓取不到这些ajax生成的内容的,

这时候要想获取就必须调用浏览器的内核引擎来下载这些动态页面,目前内核引擎三足鼎立。

Trident: 也就是IE内核,WebBrowser就是基于该内核,但是加载性内比较差。

Gecko: FF的内核,性能相对Trident较好。

WebKit: Safari和Chrome的内核,性能你懂的,在真实场景中还是以它为主。

好了,为了简单方便,这里使用WebBrowser来玩一把,使用WebBrowser我们要注意以下几点:

第一:因为WebBrowser在System.Windows.Forms 中,属于winform控件,所以我们要设置STAThread标记。

第二:winform是事件驱动的,而Console并不会去响事件,所有事件在windows的消息队列中等待执行,为了不让程序假死,

         我们需要调用DoEvents方法转让控制权,让操作系统执行其他的事件。

第三:WebBrowser中的内容,我们需要用DomDocument来查看,而不是DocumentText。

判断一个动态网页是否加载完毕,一般常会有两种方法:

①:设定一个最大值,因为每当异步加载一个js,都会触发一个Navigating和DocumentCompleted事件,所以我们需要在此

       处记录一下count值即可。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Threading;
using System.IO;

namespace ConsoleApplication2
{
    public class Program
    {
        static int hitCount = 0;

        [STAThread]
        static void Main(string[] args)
        {
            string url = "http://www.cnblogs.com";

            WebBrowser browser = new WebBrowser();

            browser.ScriptErrorsSuppressed = true;

            browser.Navigating += (sender, e) =>
            {
                hitCount++;
            };

            browser.DocumentCompleted += (sender, e) =>
            {
                hitCount++;
            };

            browser.Navigate(url);

            while (browser.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            while (hitCount < 16)
                Application.DoEvents();

            var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument;

            string gethtml = htmldocument.documentElement.outerHTML;

            //写入文件
            using (StreamWriter sw = new StreamWriter(Environment.CurrentDirectory + "//1.html"))
            {
                sw.WriteLine(gethtml);
            }

            Console.WriteLine("html 文件 已经生成!");

            Console.Read();
        }
    }
}

然后,我们打开生成好的1.html,看看js加载的内容是不是有了。

②: 当然除了通过判断最大值确定是否已经加载完成,我们还可以通过设定一个Timer来判断,比如3s,4s,5s后来查看

      WEBbrowser 是否加载完毕。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Threading;
using System.IO;

namespace ConsoleApplication2
{
    public class Program
    {
        [STAThread]
        static void Main(string[] args)
        {
            string url = "http://www.cnblogs.com";

            WebBrowser browser = new WebBrowser();

            browser.ScriptErrorsSuppressed = true;

            browser.Navigate(url);

            //先要等待加载完毕
            while (browser.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            System.Timers.Timer timer = new System.Timers.Timer();

            var isComplete = false;

            timer.Elapsed += new System.Timers.ElapsedEventHandler((sender, e) =>
            {
                //加载完毕
                isComplete = true;

                timer.Stop();
            });

            timer.Interval = 1000 * 5;

            timer.Start();

            //继续等待 5s,等待js加载完
            while (!isComplete)
                Application.DoEvents();

            var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument;

            string gethtml = htmldocument.documentElement.outerHTML;

            //写入文件
            using (StreamWriter sw = new StreamWriter(Environment.CurrentDirectory + "//1.html"))
            {
                sw.WriteLine(gethtml);
            }

            Console.WriteLine("html 文件 已经生成!");

            Console.Read();
        }
    }
}

当然,效果依旧,就不截图了,从上面的两种写法来看,我们的WebBrowser都是放在主线程中,下面我们来看看如何放在工作线程上,

很简单,只要将该工作线程设定为STA模式即可。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Threading;

namespace ConsoleApplication2
{
    public class Program
    {
        static int hitCount = 0;

        //[STAThread]
        static void Main(string[] args)
        {
            Thread thread = new Thread(new ThreadStart(() =>
            {
                Init();
                System.Windows.Forms.Application.Run();
            }));

            //将该工作线程设定为STA模式
            thread.SetApartmentState(ApartmentState.STA);

            thread.Start();

            Console.Read();
        }

        static void Init()
        {
            string url = "http://www.cnblogs.com";

            WebBrowser browser = new WebBrowser();

            browser.ScriptErrorsSuppressed = true;

            browser.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(browser_DocumentCompleted);

            browser.Navigating += new WebBrowserNavigatingEventHandler(browser_Navigating);

            browser.Navigate(url);

            while (browser.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            while (hitCount < 16)
                Application.DoEvents();

            var htmldocument = (mshtml.HTMLDocument)browser.Document.DomDocument;

            string gethtml = htmldocument.documentElement.outerHTML;

            Console.WriteLine(gethtml);
        }

        static void browser_Navigating(object sender, WebBrowserNavigatingEventArgs e)
        {
            hitCount++;
        }

        static void browser_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
            hitCount++;
        }
    }
}

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【微信小程序】页面事件
小程序 - 视图与逻辑 页面导航 - 导航传参 1. 声明式导航传参 2. 编程式导航传参 3. 在 onLoad 中接收导航参数 页面事件 - 下拉刷新事件 1. 什么是下拉刷新 2. 启用下拉刷新 3. 配置下拉刷新窗口的样式 4. 监听页面的下拉刷新事件 5. 停止下拉刷新的效果 页面事件 - 上拉触底事件 1. 什么是上拉触底 2. 监听页面的上拉触底事件 3. 配置上拉触底距离
29 0
【微信小程序】实现页面tab切换效果
通过以下的方法实现tab与页面内容联动。
37 0
微信小程序:页面Page和组件Component生命周期执行的先后顺序
微信小程序:页面Page和组件Component生命周期执行的先后顺序
75 0
微信小程序:页面Page和组件Component生命周期执行的先后顺序
微信小程序:页面Page和组件Component生命周期执行的先后顺序
302 0
Python爬虫-小测验
一、 使用scrapy.Selector或BeautifulSoup,实现以下需求(30分) (1)读取给定的dangdang.html页面内容,注:编码为gbk(5分) (2)获取页面中所有图书的名称,价格,作者,出版社及图书图片的url地址(...
1114 0
Python爬虫,抓取淘宝商品评论内容!
作为一个资深吃货,网购各种零食是很频繁的,但是能否在浩瀚的商品库中找到合适的东西,就只能参考评论了!今天给大家分享用python做个抓取淘宝商品评论的小爬虫! 思路 我们就拿“德州扒鸡”做为参考目标吧~!如果想抓其他商...
1439 0
Python小爬虫
            网页解析器下载网址: http://www.crummy.com/software/BeautifulSoup/                              ...
801 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
SEO学习步骤
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载