如何使用云服务器ECS部署爬虫

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 本位介绍如何使用云服务器ECS部署爬虫,爬取网站最新通告并推送。

本位介绍如何使用云服务器ECS部署爬虫,爬取网站最新通告并推送。

1.背景

由于考研复试需要实时获取报考学校的最新通知,以免错过重要的消息,而手动刷新的方式费时费力,因此想到通过爬虫实现实时获取最新通知的功能。但还需解决几个问题:

    1. 爬虫爬取的最新通告,采用什么方式推送

    2. 爬虫爬取的频率设置为多快

    3. 爬虫应该部署在哪里

    对于上述的几个问题,经过一番研究后,得出了结论:

    1. 想过很多种方法,例如收到通知后采用电子邮件,微信机器人,QQ机器人等,后来发现实现起来都没有非常方便,最后发现了一个相当方便的推送方法,叫虾推啥(点击进入官网)。

      这是个公众号,关注后获取自己的token,仅用几行代码就可以将通知以公众号推送的方式,通过微信提醒自己。另外相似的还有server酱,由于我只需要实现推送文字通告,而两者在这方面相差不大,虾推啥实现起来更方便,因此选用了虾推啥。

    2. 为了防止访问过于频繁,后面决定执行的速度为每小时一次

    3. 若将爬虫部署在本地,那么想要实现实时推送,必须24小时打开计算机,这显然是不方便的,因此最后决定部署在云服务器上。云服务器有阿里云和腾讯云服务器等,这里使用的是阿里云服务器,经过学生认证和测试,可以免费使用两个月。

    2.实现过程

    2.1准备工作

    2.1.1分析页面

    由于不同的网页排版的不同,因此在爬取网页内容时应具体分析,这里只给出了一般分析网页的基本方法,即F12进入开发者模式,然后通过ElementsNetwork中的内容来判断应该如何获得内容。

    f271061379ad410ba7bd225d039996eb2.1.2第三方库

    爬虫主要需要用到以下第三方库,并且给出了这些库的具体用法。

    import bs4 # 网页解析,获取数据
    import re # 正则表达式,进行文字匹配
    import urllib # 制定url
    import sqlite3 # SQL操作

    BeautifulSoup的具体用法。

    from bs4 import BeautifulSoup
    import re
    bs = BeautifulSoup(html, "html.parser")
    #输出整个文档 BeautifulSoup类型
    print(bs)
    #根据标签直接寻找,返回找到的第一个标签 Tag类型
    print(bs.title) # bs.a bs.li
    #输出标签里的内容 NavigableString类型
    printf(bs.title.string)
    #输出标签里的属性
    printf(bs.title.attrs)
    #Comment 特殊的字符串,若找到内容为注释,则去掉注释符号,拿到注释里的内容
    #find_all 
    bs.find_all("a") #查询所有带a的标签
    t_list = bs.find_all(re.complie("a")) #正则表达式,返回的是所有包含a的标签
    t_list = bs.find_all(id="head") # 寻找不同的参数
    t_list = bs.find_all(class_="head") 
    #CSS选择器
    t_list = bs.select(".xxx") # 类名查找 
    t_list = bs.select("#xxx") # id查找 
    li_list = bs.select("ul > li > span") #层级查找
    li_list = bs.select(".xxx1 ~ .xxx") #寻找xxx1的兄弟节点xxx
    #得到列表后,可以直接通过get方法,传入需要得到的属性,即可直接得到标签的属性
    print(li_list[0].get("href")) # 可直接得到标签内的href属性

    sqlite3的具体用法。

    import sqlite3 
    connect = sqlite3.connect("xxx") # 打开或创建数据库
    c = conn.cursor() # 获取游标
    sql = ''' ''' # 所有操作
    c.execute(sql) # 执行SQL语句
    connect.commit()  # 提交事务
    connect.close() # 关闭

    2.2代码编写

    2.2.1思路

    首先确定爬虫实现的功能为:爬取最新的公告并推送

    因此每次执行爬虫操作时得到的应该是网站最新的一条公告,那么如何保证每次推送的都是最新消息呢?这里用到了数据库sqlite3,将每次得到的最新公告先在数据库中进行查询,如果为,说明该公告未被推送过推送到微信,并且将这条记录插入到数据库;如果数据库已经存在该记录,那么说明不是最新公告不执行推送操作。这样就解决了保证每次推送的公告不重复,并且是最新公告的问题。因此关于数据库的操作应该为,爬虫项目在执行时就初始化数据库,该操作主要是不存在数据库则建立数据库,并且建表;否则连接数据库

    其次是要生成请求,得到响应。这里主要用到的是urllib,并且需要在请求中填入用户代理,即2.1.1中提到的user-agent,以便爬虫伪装浏览器得到html页面。

    然后就是使用BeautifulSoup 分析得到html页面中的标签,以得到自己所需要的内容。这里只需要得到公告标题标签中的网址后缀发送公告的日期三个内容,然后合成一个字典返回。

    最后就是推送到微信。这一步还需要拆解成两个方法来编写:首先需要一个保存数据的方法,尝试将得到的内容保存到数据库,这一步的作用是如果保存成功,则说明是最新通告,因此才能推送到微信,否则不进行操作,因此需要一个分支语句。

    2.2.2具体代码

    根据以上的思路分析,实际需要编写的方法应该为5个。

    首先是初始化数据库,传入数据库的路径,若存在则连接,否则建立数据库。

    def init_db(dbpath):
        sql = '''
            create table if not exists 'notice_info'
            (
                title text,
                date text
            )
        '''
        connect = sqlite3.connect(dbpath)  # 打开或创建数据库
        c = connect.cursor()  # 获取游标
        c.execute(sql)  # 执行SQL语句
        connect.commit()  # 提交事务
        connect.close()  # 关闭

    然后是发送请求,发送响应,即得到一个网页的内容,这里进行了异常的捕捉。

    # 得到一个URL的网页内容
    def askURL(url):
        head = {  # 用户代理,告诉服务器我们可以接收什么水平的内容
            'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / '
                          '100.0.4896.60 Safari / 537.36 Edg / 100.0.1185.29 '
        }
        request = urllib.request.Request(url, headers=head)  # 生成请求
        try:
            reponse = urllib.request.urlopen(request)  # 发送请求,获取相应
            html = reponse.read()  # 读取网页内容
        except urllib.error.URLError as e:  # 捕捉异常
            if hasattr(e, "code"):
                print(e.code)
            if hasattr(e, "reason"):
                print(e.reason)
        return html

    其次是提取需要的内容,首先使用BeautifulSoup 解析网页,然后使用select方法进行层级解析,并形成一个字典返回

    # 提取网页的最新通告,主要使用bs4
    # 直接提取li标签的第一条,即最新的通知,形成一个字典返回
    def dataExtarct(html):
        bs = BeautifulSoup(html, "html.parser")  # 解析文档,作为解析器
        li_list = bs.select("ul > li > span > a")  # 层级解析
        li_list2 = bs.select("ul > li > strong")
       
        mydata = {
            "href": base_URL + li_list[0].get("href"),
            "title": li_list[0].get_text(),
            "date": li_list2[0].get_text()
        }
        return mydata

    最后是推送到微信,推送前需要尝试保存数据,若保存成功则发送数据,否则不执行操作。save_data方法首先是利用SQL语句统计数据库中是否存在该记录,若存在返回0,表示不推送消息,否则需要插入数据,并且返回1,推送消息。

    def insert_data(mydata, connect):
        sql = "insert into notice_info(title, date) values('" + mydata["title"] + "', '" + mydata["date"] + "');"
        c = connect.cursor()
        c.execute(sql)
        connect.commit()  # 提交事务
        connect.close()  # 关闭
    def save_data(mydata, dbpath):
        sql = "select * from notice_info where title = '" + mydata["title"] + "' and date = '" + mydata["date"] + "';"
        print(sql)
        connect = sqlite3.connect(dbpath)  # 打开或创建数据库
        c = connect.cursor()  # 获取游标
        cursor = c.execute(sql)  # 执行SQL语句
        result = 0
        for row in cursor:
            print(row)
            result += 1
        
        if result == 0:
            insert_data(mydata, connect)
            return 1
        else:
            return 0

    推送消息比较简单,利用虾推啥将文字通过post方法推送,最大可推送64k文字。

    # 利用吓推啥,将最新消息推送到微信上
    # 主要是获取微信的token
    def sendMessage(token, mydata):
        baseurl = "http://wx.xtuis.cn/"
        url = baseurl + token + ".send"
        
        data = {
            "text": mydata["title"],
            "desp": '内容:' + mydata["title"] + '<br>' \
                                              '网址:' + mydata["href"] + '<br>' \
                                                                       '日期:' + mydata["date"]
        }
        requests.post(url, data=data)

    2.3部署项目

    下面讨论如何将项目部署在云服务器上,以便项目可以不间断的运行。下面的操作建立在已经拥有一个云服务器的基础上。

    2.3.1安装宝塔面板

    因购买的服务器未安装任何开发所需的工具,因此可以使用宝塔面板安装大部分的应用,推荐安装LNMP(ginx+MySQL+PHP)。

    首先进入宝塔面板(点击进入)的官网,一般推荐安装Linux系统,目前已经有在线安装面板的方法,只需要填写购买的服务器公网IP地址和密码,就可以在线安装。安装完成后,会提示保存创建的面板地址,账号和密码,一定要牢记

    c5c929e6c2f94ad8a8dd0e64c307401f安装完后可能会因为未开放安全组端口而无法登录到以下界面,下面会讲述如何开放安全组端口。

    1d8eb14bc1bc4eeaa68a8ce66e4f4acf2.3.2开放安全组端口

    在阿里云云服务器ECS界面首先点击实例,然后点击更多,再点击网络和安全组,最后点击安全组配置

    3cbf5e0aa3924b8e9038a0c94ed35838

    进入安全组配置页面后,点击配置规则

    791792a5fe6f4fa1813f8c8341db0518

    选择入方向,添加方向后目的填写需要开放的端口,填写0.0.0.0/0,保存即可。

    7d96a2208e1b4731804798addff956cb2.3.3安装使用findshell

    findshell是一个SSH连接工具,可以连接到自己的云服务器,通过终端输入命令的方式执行操作,并且对于文件的增删改查十分方便。 下面给出了下载地址:

    Windows版下载地址: http://www.hostbuf.com/downloads/finalshell_install.exeMac版,Linux版安装及教程: http://www.hostbuf.com/t/1059.html

    更新日志: http://www.hostbuf.com/t/989.html

    安装完成以后,下面讲述如何上传项目到云端。

    首先点击左上角的文件夹图标,打开连接管理器。

    1d64fc12cd6542bd86fc8ddcdeeb5ef3再按下图点击第一个按钮。

    cd02e5555b2c41bfbfbf7e221008440f新建的连接框中填入图中的信息,即公网IP,用户名和密码,名称可自定义。

    dd9ae91245784aebb884840529acaae9

    若为第一次连接,则会弹出以下的安全警告,点击接受并保存即可。

    9ed21c8d6c994d7a805fa1cd70157c2c

    连接实例,输入指令 ssh root@xxx.xxx.xxx,其中xxx.xxx.xxx为公网ip,然后输入密码 注意终端中的黏贴为ctrl+shift+v.

    02ca174df3ca4e438a0172a7799f7f6e

    2.3.4上传爬虫

    服务器在之前已经安装了必要的环境,但爬虫所用到的一些第三方库还没有安装,因此需要手动安装需要的库。通过输入以下指令,即可安装爬虫所需要的第三方库。

    # Linux下安装第三方库的命令,注意为pip3

    pip3 install beautifulsoup4

    pip3 install pysqlite3

    c0fda0b5213b420dbe46d0cc92a51250 5cec46a5a0e1497ca263bd646a8db99b

    4dd85c2577eb4640a71c1339c5358cde以上步骤爬虫已经能够成功在服务器上运行,但未实现实时执行的要求。这里需要用到Linux系统的crontab指令,即定时任务。有关于crontab指令的具体参数及使用方法,做一个简单的介绍。crontab命令一般为7个参数,前5个确定执行的具体时间点,第6个参数为该指令的所属者,第7个参数为需要的执行的命令,一般执行脚本文件,.sh为Linux系统的脚本文件后缀名。

    用户

    命令

    *

    *

    *

    *

    *

    root

    xxx.sh

    项目

    含义

    范围

    第一个"*"

    一小时当中的第几分钟(minute)

    0~59

    第二个"*"

    一天当中的第几小时(hour)

    0~23

    第三个"*"

    一个月当中的第几天(day)

    1~31

    第四个"*"

    一年当中的第几个月(month)

    1~12

    第五个"*"

    一周当中的星期几(week)

    0~7(0和7都代表星期日)

    下面还有对于命令的一些例子。

    特殊符号

    含义

    *(星号)

    代表任何时间。比如第一个"*"就代表一小时种每分钟都执行一次的意思。

    ,(逗号)

    代表不连续的时间。比如"0 8,12,16***命令"就代表在每天的 8 点 0 分、12 点 0 分、16 点 0 分都执行一次命令。

    -(中杠)

    代表连续的时间范围。比如"0 5 ** 1-6命令",代表在周一到周六的凌晨 5 点 0 分执行命令。

    /(正斜线)

    代表每隔多久执行一次。比如"*/10****命令",代表每隔 10 分钟就执行一次命令。

    介绍完该指令的基本应用后,就正式开始编写定时任务。

    5899e540db844aad964794e366b49b44
    1. vim /ect/crontab 进入一般模式,即上图所示

    2. i进入编辑模式后,将光标移动到下方的波浪号处、

    3. 粘贴已经写好的命令 60 * * * * root /home/spider/spider_notice.sh 这里需要给出脚本文件的绝对路径

    4. Esc退出编辑模式,再输入 :wq! 强制保存文件并退出。

    5. 输入 /etc/init.d/cron restart 重启程序 ,若不存在该指令,也可以输入/sbin/service crond restart 重启服务。

    3.实现效果

    上面已经介绍完所有的工作,接下来展示一下实现的效果图。爬虫获取到最新的通知后,会直接推送到微信,采用公众号提醒的方式,如下面左图所示。点击查看详情后,显示的内容即为下面右图所示,主要为内容,网址,日期三个方面。直接复制网址就可以查看最新的具体通知。

    3c5da5367973487089a88a882202c2e18ef088fb8ace4705b9ef58ee740a21e6

    4.总结

    本次实现爬虫的原因完全来自于不想要蹲网站等通知,因为等待的过程中一方面是怕看到复试成绩的紧张,另一面又是通知迟迟没有出现的烦躁。因此想要实现一个爬虫自动推送,自此省时省力,缓解了焦虑!

    本文转载自飞天加速计划:https://developer.aliyun.com/article/883731

    相关实践学习
    借助OSS搭建在线教育视频课程分享网站
    本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
    7天玩转云服务器
    云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
    相关文章
    |
    29天前
    |
    存储 编解码 缓存
    阿里云服务器实例规格选择参考:根据业务场景选择云服务器实例规格
    在阿里云服务器的购买过程中,云服务器实例规格是很多用户最难选择的一个选项,因为阿里云有着多达几十种不同的实例规格,为此,阿里云官方在云服务器购买页面新推出了一个场景化选型推荐,用户可通过自己的上云场景结合场景化选型里面的业务场景和细分场景来选择适合自己的阿里云服务器实例规格,在很大程度上解决了新手用户在选择阿里云服务器实例规格上的困局。
    阿里云服务器实例规格选择参考:根据业务场景选择云服务器实例规格
    |
    1月前
    |
    网络协议 网络安全
    基于bind软件部署DNS服务器
    关于如何使用bind软件部署DNS服务器的教程,包括DNS服务器的类型、基于bind软件的部署步骤、验证DNS服务器可用性的指导,以及如何进行DNS正向解析的实现。
    29 2
    基于bind软件部署DNS服务器
    |
    19天前
    |
    监控 JavaScript Java
    部署应用程序到服务器
    部署应用程序到服务器
    37 3
    |
    1月前
    |
    存储 关系型数据库 MySQL
    使用Docker快速部署Mysql服务器
    本文介绍了如何使用Docker快速部署MySQL服务器,包括下载官方MySQL镜像、启动容器、设置密码、连接MySQL服务器以及注意事项。
    152 18
    |
    11天前
    |
    JavaScript Linux 开发工具
    如何将nodejs项目程序部署到阿里云服务器上
    该文章详细描述了将Node.js项目部署到阿里云服务器的步骤,包括服务器环境配置、项目上传及使用PM2进行服务管理的过程。
    |
    19天前
    |
    Ubuntu 开发工具 git
    在Ubuntu上部署BOA服务器的步骤
    部署BOA服务器是一个涉及多个步骤的过程,包括系统更新、安装依赖、下载和编译源代码、配置服务器以及启动和验证。遵循上述步骤,可以在Ubuntu系统上成功部署BOA服务器,为开发和测试提供一个轻量级的Web服务器环境。
    14 0
    |
    2月前
    |
    UED
    JSF文件下载:解锁终极文件传输秘籍,让你的Web应用瞬间高大上!
    【8月更文挑战第31天】掌握JSF文件下载功能对构建全面的Web应用至关重要。本文通过具体代码示例,详细介绍如何在JSF中实现文件下载。关键在于后端Bean中的文件读取与响应设置。示例展示了从创建实体类到使用`&lt;h:commandLink&gt;`触发下载的全过程,并通过正确设置响应头和处理文件流,确保文件能被顺利下载。这将显著提升Web应用的实用性与用户体验。
    47 0
    |
    2月前
    |
    Java 数据库 API
    JSF与JPA的史诗级联盟:如何编织数据持久化的华丽织锦,重塑Web应用的荣耀
    【8月更文挑战第31天】JavaServer Faces (JSF) 和 Java Persistence API (JPA) 分别是构建Java Web应用的用户界面组件框架和持久化标准。结合使用JSF与JPA,能够打造强大的数据驱动Web应用。首先,通过定义实体类(如`User`)和配置`persistence.xml`来设置JPA环境。然后,在JSF中利用Managed Bean(如`UserBean`)管理业务逻辑,通过`EntityManager`执行数据持久化操作。
    39 0
    |
    2月前
    |
    JavaScript 搜索推荐 前端开发
    从零搭建到部署:Angular与Angular Universal手把手教你实现服务器端渲染(SSR),全面解析及实战指南助你提升Web应用性能与SEO优化效果
    【8月更文挑战第31天】服务器端渲染(SSR)是现代Web开发的关键技术,能显著提升SEO效果及首屏加载速度,改善用户体验。Angular Universal作为官方SSR解决方案,允许在服务器端生成静态HTML文件。本文通过具体示例详细介绍如何使用Angular Universal实现SSR,并分享最佳实践。首先需安装Node.js和npm。
    30 0
    |
    2月前
    |
    JavaScript 搜索推荐 API
    Angular携手Angular Universal:全面实现服务器端渲染技术——从环境搭建到部署的详尽指南
    【8月更文挑战第31天】在现代Web开发中,服务器端渲染(SSR)对于提升应用加载速度和SEO至关重要。Angular Universal作为Angular的SSR解决方案,允许在服务器上渲染应用,再发送至客户端,显著提高初始加载速度。本文将详细介绍如何使用Angular和Angular Universal实现SSR,并分享最佳实践。
    35 0