Python爬虫入门教程 9-100 河北阳光理政投诉板块

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介: 1.河北阳光理政投诉板块-写在前面 之前几篇文章都是在写图片相关的爬虫,今天写个留言板爬出,为另一套数据分析案例的教程做做准备,作为一个河北人,遵纪守法,有事投诉是必备的技能,那么咱看看我们大河北人都因为什么投诉过呢? 今天要爬取的网站地址 http://yglz.tousu.hebnews.cn/l-1001-5-,一遍爬取一遍嘀咕,别因为爬这个网站在去喝茶,再次声明,学习目的,切勿把人家网站爬瘫痪了。

1.河北阳光理政投诉板块-写在前面

之前几篇文章都是在写图片相关的爬虫,今天写个留言板爬出,为另一套数据分析案例的教程做做准备,作为一个河北人,遵纪守法,有事投诉是必备的技能,那么咱看看我们大河北人都因为什么投诉过呢?

今天要爬取的网站地址 http://yglz.tousu.hebnews.cn/l-1001-5-,一遍爬取一遍嘀咕,别因为爬这个网站在去喝茶,再次声明,学习目的,切勿把人家网站爬瘫痪了。

9150e4e5ly1fw2rty1f7rg208w08w0v1.gif

2.河北阳光理政投诉板块-开始撸代码

今天再次尝试使用一个新的模块 lxml ,它可以配合xpath快速解析HTML文档,官网网站 https://lxml.de/index.html
利用pip安装lxml,如果安装失败,可以在搜索引擎多搜搜,内容很多,100%有解决方案。

pip install lxml

废话不多说,直接通过requests模块获取百度首页,然后用lxml进行解析

import requests
from lxml import etree  # 从lxml中导入etree

response = requests.get("http://www.baidu.com")
html = response.content.decode("utf-8")
tree=etree.HTML(html)  # 解析html

print(tree)

当你打印的内容为下图所示,你就接近成功了!

image

下面就是 配合xpath 语法获取网页元素了,关于xpath 这个你也可以自行去学习,非常简单,搜索一下全都是资料,咱就不讲了。

image

通过xpath我们进行下一步的操作,代码注释可以多看一下。

tree=etree.HTML(html)  # 解析html
hrefs = tree.xpath('//a')  #通过xpath获取所有的a元素
# 注意网页中有很多的a标签,所以获取到的是一个数组,那么我们需要用循环进行操作
for href in hrefs:
    print(href)

打印结果如下

<Element a at 0x1cf64252408>
<Element a at 0x1cf642523c8>
<Element a at 0x1cf64252288>
<Element a at 0x1cf64252308>
<Element a at 0x1cf64285708>
<Element a at 0x1cf642aa108>
<Element a at 0x1cf642aa0c8>
<Element a at 0x1cf642aa148>
<Element a at 0x1cf642aa048>
<Element a at 0x1cf64285848>
<Element a at 0x1cf642aa188>

在使用xpath配合lxml中,记住只要输出上述内容,就代表获取到东西了,当然这个不一定是你需要的,不过代码至少是没有错误的。

继续编写代码

# 注意网页中有很多的a标签,所以获取到的是一个数组,那么我们需要用循环进行操作
for href in hrefs:
    print(href)
    print(href.get("href")) # 获取html元素属性
    print(href.text)  # 获取a标签内部文字

输出结果

<Element a at 0x1c7b76c2408>
http://news.baidu.com
新闻
<Element a at 0x1c7b76c23c8>
http://www.hao123.com
hao123
<Element a at 0x1c7b76c2288>
http://map.baidu.com
地图
<Element a at 0x1c7b76c2308>
http://v.baidu.com
视频
<Element a at 0x1c7b76f5708>
http://tieba.baidu.com
贴吧

现在你已经看到,我们已经获取到了百度首页的所有a标签,并且获取到了a标签的href属性和a标签的文字。有这些内容,你就能很容易的去获取我们的目标网站了。

3.河北阳光理政投诉板块-爬取投诉数据

找到我们的目标网页,结果发现,出事情了,页面竟然是用aspx动态生成的,技术你就不需要研究了,总之,碰到了一个比较小的问题。

首先,点击下一页的时候,页面是局部刷新的
image

刷新的同时,捕获了一下发送的请求,是post方式,这个需要留意一下,最要紧的是下面第2张图片和第3张图片。
image

这张图片中的viewstate
image

这张图片也有一些奇怪的参数
image

这些参数都是典型的动态网页参数。

解决这个问题,还要从源头抓起!
image

打开我们要爬取的首页http://yglz.tousu.hebnews.cn/l-1001-5- 第1点需要确定,post的地址经过分析就是这个页面。

所以这段代码是必备的了,注意下面的post

response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")

右键查看源码之后,发现源码中有一些比较重要的隐藏域 里面获取就是我们要的必备信息
image

没错,这些内容,我们想办法获取到就可以了
基本步骤

  1. 获取源码
  2. lxml通过xpath解析隐藏域,取值
import requests
from lxml import etree  # 从lxml中导入etree
try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html
hids = tree.xpath('//input[@type="hidden"]')  # 获取隐藏域

# 声明一个字典,用来存储后面的数据
common_param = {}
# 循环取值
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})  # 这个地方可以分开写,应该会很清楚,我就不写了,总之,就是把上面获取到的隐藏域的name属性和value属性都获取到了

上面的代码写完之后,其实已经完成了,非常核心的内容了,后面就是继续爬取了
我们按照post要的参数补充完整其他的参数即可

import requests
from lxml import etree  # 从lxml中导入etree

try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html

hids = tree.xpath('//input[@type="hidden"]')
common_param = {}
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})

##############################################################
for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",  # 注意这个地方,由于我直接看到了总共有690页数据,所以直接写死了循环次数
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})

到这一步,就可以抓取真实的数据了,我在下面的代码中最关键的一些地方加上注释,希望你能看懂

for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})


    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-",data=common_param,headers=headers)
    html = response.content.decode("utf-8")
    print("*"*200)

    tree = etree.HTML(html)  # 解析html
    divs = tree.xpath('//div[@class="listcon"]')  # 解析列表区域div
    for div in divs:  # 循环这个区域
        try:
            # 注意下面是通过div去进行的xpath查找,同时加上try方式报错
            shouli = div.xpath('span[1]/p/a/text()')[0]  # 受理单位
            type = div.xpath('span[2]/p/text()')[0].replace("\n","")  # 投诉类型
            content = div.xpath('span[3]/p/a/text()')[0]  # 投诉内容
            datetime = div.xpath('span[4]/p/text()')[0].replace("\n","")  # 时间
            status = div.xpath('span[6]/p/text()')[0].replace("\n","")  # 时间
            one_data = {"shouli":shouli,
                        "type":type,
                        "content":content,
                        "datetime":datetime,
                        "status":status,
                        }
            print(one_data)  # 打印数据,方便存储到mongodb里面
            
        except Exception as e:
            print("内部数据报错")
            print(div)
            continue
    

代码完成,非常爽
image

最后抓取到了 13765 条数据,官方在我抓取的时候是13790,差了25条数据,没有大的影响~
image

数据我都存储在了 mongodb里面,关于这个如何使用,请去看我以前的代码吧~~~~


9150e4e5ly1fw2rni3u7uj2075078dfw.jpg

她专科学历
27岁从零开始学习c,c++,python编程语言,
29岁编写百例教程,
30岁掌握10种编程语言,
用亲身经历告诉你,编程入门,就找梦想橡皮擦
欢迎关注她的公众号,非本科程序员

这些数据,放着以后做数据分析用了。

相关文章
|
19天前
|
数据采集 存储 XML
Python爬虫定义入门知识
Python爬虫是用于自动化抓取互联网数据的程序。其基本概念包括爬虫、请求、响应和解析。常用库有Requests、BeautifulSoup、Scrapy和Selenium。工作流程包括发送请求、接收响应、解析数据和存储数据。注意事项包括遵守Robots协议、避免过度请求、处理异常和确保数据合法性。Python爬虫强大而灵活,但使用时需遵守法律法规。
|
20天前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
21天前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
28天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
79 6
|
22天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
|
27天前
|
数据采集 JSON 测试技术
Python爬虫神器requests库的使用
在现代编程中,网络请求是必不可少的部分。本文详细介绍 Python 的 requests 库,一个功能强大且易用的 HTTP 请求库。内容涵盖安装、基本功能(如发送 GET 和 POST 请求、设置请求头、处理响应)、高级功能(如会话管理和文件上传)以及实际应用场景。通过本文,你将全面掌握 requests 库的使用方法。🚀🌟
45 7
|
29天前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
58 6
|
26天前
|
数据采集 Web App开发 JavaScript
爬虫策略规避:Python爬虫的浏览器自动化
爬虫策略规避:Python爬虫的浏览器自动化
|
26天前
|
数据采集 存储 XML
Python实现网络爬虫自动化:从基础到实践
本文将介绍如何使用Python编写网络爬虫,从最基础的请求与解析,到自动化爬取并处理复杂数据。我们将通过实例展示如何抓取网页内容、解析数据、处理图片文件等常用爬虫任务。
141 1
|
29天前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
57 4