「Python」爬虫实战-北京公交线路信息爬取(requests+bs4)

简介: 使用requests爬取北京公交线路信息,目标网址为[https://beijing.8684.cn/](https://beijing.8684.cn/)。爬取的具体信息为公交线路名称、公交的运营范围、运行时间、参考票价、公交所属的公司以及服务热线、公交来回线路的途径站点。

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第4天, 点击查看活动详情

公交线路爬取

使用requests爬取北京公交线路信息,目标网址为https://beijing.8684.cn/。

爬取的具体信息为公交线路名称、公交的运营范围、运行时间、参考票价、公交所属的公司以及服务热线、公交来回线路的途径站点。

考虑到现代技术与日俱进,反爬措施层数不穷,故可以考虑构建用户代理池,能够避免总是使用一个 UA 来访问网站,因为短时间内总使用一个 UA 高频率访问的网站,可能会引起网站的警觉,从而封杀掉 IP。

这里对User Agent的构造进行分析。标准的UA是由浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 、渲染引擎标识、 版本信息组成,所以不妨采用构造UA的方法结合随机函数,随机生成一个UA,以达到混淆服务器的效果。
核心部分代码如下:

def get_ua():
    first_num = random.randint(55, 76)
    third_num = random.randint(0, 3800)
    fourth_num = random.randint(0, 140)
    os_type = [
        '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', 
        '(X11; Linux x86_64)', '(Macintosh; Intel Mac OS X 10_14_5)'
    ]
    chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)

    ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36',
                   '(KHTML, like Gecko)', chrome_version, 'Safari/537.36']
                 )
    return ua

观察到目标网站的公交线路分别有以1开头至9开头以及url的变化。不难看出,以什么开头的公交就在https://beijing.8684.cn/ 后面加上list?。若以字母B开头,则为listB。通过字符串的拼接就可以得到不同数字或字母开头的公交线路名称。
image.pngimage.png
F12键观察一下页面的元素排列,通过观察页面源代码发现,我们所看到的代码与页面源代码没有出入(有些在页面源代码中并没有渲染信息在HTML中,而是通过js渲染到浏览器中)。
image.png

下面以1路车为例,进入到公交线路信息详情的页面进行信息提取。
image.png
观察页面发现1路公交车的详情页面 -> https://beijing.8684.cn/x_322e21c5 的url的最后的参数刚好和 https://beijing.8684.cn/list1 页面中的 a标签的href属性对应起来。

所以大胆假设:每一个list页面中相同位置的a标签的属性href中的值就是相应的线路详情路线的后缀,所以每个线路的具体目标网址只需要拿到list页面中的href值,然后和https://beijing.8684.cn/ 拼接就可得到线路的url。

对于公交线路的名称、运行时间、所属区域、参考票价以及所属公司在页面中的位置都是在div class="info"的盒子里,并且发现class="info"的属性值在整个页面中只出现了一次。通过get_text()方法就可以提取到所需要的信息。

而对于公交来回具体经过的地方,在页面渲染时,由于经过的站太多,在页面需要隐藏显示,所以直接找到站点对应的div并提取text时,会提取到一些不需要的信息。在获取到信息还需要根据实际情况处理掉冗余的信息,保证爬取信息的正确性。

由于目标网站对于每个页面的渲染可能存在不同,也可能笔者在提取需要的信息考虑不完全等原因,并不能完全保证每一个页面都能完整的提取到所需要的信息。
故需要利用到try...except...来捕捉异常将不符合提取信息逻辑的页面的url另存一个文件,并在信息爬取结束后,观察该页面,进而完善原有代码或者模块。

运行效果

信息爬取成功界面:
image.png
爬取的信息:
image.png

注意到error文件中的链接只有一个,说明前面的逻辑还是写的相当不错的,😀囊括了大部分的情况,能够爬取到目标信息。

具体代码

from bs4 import BeautifulSoup
import requests
import random

# UA池
def get_headers(referer_url):
    first_num = random.randint(55, 76)
    third_num = random.randint(0, 3800)
    fourth_num = random.randint(0, 140)
    os_type = [
        '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)',
        '(Macintosh; Intel Mac OS X 10_14_5)'
    ]
    chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)

    ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36',
                   '(KHTML, like Gecko)', chrome_version, 'Safari/537.36']
                  )
    headers = {
        "User-Agent": ua,
        "Referer": referer_url
    }
    return headers


def main():
    url = 'https://beijing.8684.cn'

    # bus_head = [str(i) for i in range(1, 10)] + ['B', 'C', 'D', 'F']

    bus_head = [str(i) for i in range(1, 3)]

    for bus in bus_head:
        bus_single_url = url + '/list' + bus  # 1字开头的bus
        resp = requests.get(bus_single_url, headers=get_headers(url))
        bus_main_html = BeautifulSoup(resp.text, 'html.parser')

        bus_route_list = bus_main_html.find('div', class_="list clearfix").find_all('a')
        route_href = []  # 只存取线路的链接-/x_322e21c5, 完整的url需要拼接  
        # 即:url + route_href[0] = https://beijing.8684.cn/x_322e21c5
        for single_route in bus_route_list:
            route_href.append(single_route.get('href'))

        for href in route_href:
            route_url = url + href

            bus_detail = requests.get(route_url, headers=get_headers(bus_single_url))

            bus_detail_html = BeautifulSoup(bus_detail.text, 'html.parser')

            try:
                bus_info = bus_detail_html.find('div', class_="info")

                detail = bus_info.get_text('#').split('#')[:6]

                route_total = bus_detail_html.find_all('div', 'bus-excerpt mb15')
                bus_lzlist = bus_detail_html.find_all('div', 'bus-lzlist mb15')

                with open('bus.txt', 'a') as f:
                    f.write('\n')
                    f.write('\n'.join(detail[:4]))  # 只需要写入一次
                    f.write('\n' + detail[-2] + detail[-1])  # 公司名

                for route, bus_ls in zip(route_total, bus_lzlist):
                    trip = route.find('div', 'trip').get_text()
                    start, end = trip.split('—')  # 获取起始站点和终点站的名字
                    li_list = [li.get_text() for li in bus_ls.find_all('a')]  # 获取经过站点
                    tmp = [li for idx, li in enumerate(li_list[1:-1]) if li != start and li != end] # 去掉首尾两个站点
                    tmp = [li_list[0]] + tmp + [li_list[-1]]  # 加上起始站点和终点站
                    tmp = [f'{idx + 1}:{r}' for idx, r in enumerate(tmp)]  # 添加站点编号
                    with open('bus.txt', 'a') as f:
                        f.write('\n' + trip + '\n')
                        f.write('->'.join(tmp))
                print(f'{route_url}信息写入成功!')
            except:
                with open('error.txt', 'a') as f:  # 爬取不到的路线,在细致分析
                    f.write(route_url + '\n')


if __name__ == '__main__':
    main()
一些心得:

在提取详情站点信息的时候由于最终写入的文本站点信息不能重复,即公交的起始点和终点只能出现一次,但是在直接使用get_text()方法时,或获取到多余的站点,即终点站的名称出现了两次。

解决方法:
对获取到的站点列表的中间部分(即去除了起始点和终点的部分)进行遍历,若当前的值是终点站或者起始站,则将该值从列表中删除。

相关文章
|
数据采集 JSON 算法
Python爬虫——基于JWT的模拟登录爬取实战
Python爬虫——基于JWT的模拟登录爬取实战
759 1
Python爬虫——基于JWT的模拟登录爬取实战
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
824 6
|
数据采集 存储 Web App开发
Python爬虫库性能与选型实战指南:从需求到落地的全链路解析
本文深入解析Python爬虫库的性能与选型策略,涵盖需求分析、技术评估与实战案例,助你构建高效稳定的数据采集系统。
1075 0
|
数据采集 Python
如何通过requests和time模块限制爬虫请求速率?
如何通过requests和time模块限制爬虫请求速率?
|
数据采集 存储 Web App开发
自动化爬虫:requests定时爬取前程无忧最新职位
自动化爬虫:requests定时爬取前程无忧最新职位
|
数据采集 存储 监控
Python爬虫实战:批量下载亚马逊商品图片
Python爬虫实战:批量下载亚马逊商品图片
|
数据采集 机器学习/深度学习 边缘计算
Python爬虫动态IP代理报错全解析:从问题定位到实战优化
本文详解爬虫代理设置常见报错场景及解决方案,涵盖IP失效、403封禁、性能瓶颈等问题,提供动态IP代理的12种核心处理方案及完整代码实现,助力提升爬虫系统稳定性。
717 0
|
数据采集 存储 缓存
Python爬虫与代理IP:高效抓取数据的实战指南
在数据驱动的时代,网络爬虫是获取信息的重要工具。本文详解如何用Python结合代理IP抓取数据:从基础概念(爬虫原理与代理作用)到环境搭建(核心库与代理选择),再到实战步骤(单线程、多线程及Scrapy框架应用)。同时探讨反爬策略、数据处理与存储,并强调伦理与法律边界。最后分享性能优化技巧,助您高效抓取公开数据,实现技术与伦理的平衡。
817 4
|
数据采集 网络协议 前端开发
Python多线程爬虫模板:从原理到实战的完整指南
多线程爬虫通过并发请求大幅提升数据采集效率,适用于大规模网页抓取。本文详解其原理与实现,涵盖任务队列、线程池、会话保持、异常处理、反爬对抗等核心技术,并提供可扩展的Python模板代码,助力高效稳定的数据采集实践。
814 0
|
数据采集 存储 数据挖掘
深入探索 Python 爬虫:高级技术与实战应用
本文介绍了Python爬虫的高级技术,涵盖并发处理、反爬虫策略(如验证码识别与模拟登录)及数据存储与处理方法。通过asyncio库实现异步爬虫,提升效率;利用tesseract和requests库应对反爬措施;借助SQLAlchemy和pandas进行数据存储与分析。实战部分展示了如何爬取电商网站的商品信息及新闻网站的文章内容。提醒读者在实际应用中需遵守法律法规。
679 66

推荐镜像

更多