基于bs4+requests爬取世界赛艇男运动员信息

简介: bs4中文叫做美丽汤第4版,是用Python写的一个HTML/XML的解析器。中文文档链接:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.htmlrequests中文叫做请求,是用来发起http请求和接收http相应的库。

bs4中文叫做美丽汤第4版,是用Python写的一个HTML/XML的解析器。中文文档链接:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
requests中文叫做请求,是用来发起http请求和接收http相应的库。官方文档链接:
http://docs.python-requests.org/zh_CN/latest/api.html
2018年8月22日笔记
新手学习如何编写爬虫,可以注册1个网易账号,在网易云课堂上学习《Python网络爬虫实战》,链接:http://study.163.com/course/courseMain.htm?courseId=1003285002

0.制定需求

爬取每个运动员的姓名name、位置position、图片链接img_url、性别sex、生日birthday、国家country这6个字段。
该网站未设置反爬策略,网页中的字段为静态信息,容易爬取。
目录页面有姓名name、位置position、图片链接img_url这3个字段;
详情页面有性别sex、生日birthday、国家country这3个字段。

1.观察数据

2018年23岁以下世界赛艇锦标赛链接:http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/
网站页面如下图所示:

img_40bbe7c4a51413951c969ba44cc0cd3b.png
image.png

点击上图红色箭头所示位置,会出现运动员列表,如下图所示:


img_2c4074ad1dae06ff4a8c9f0a39807e0d.png
image.png

2.查看标签

在chrome浏览器中点击F12键,可以弹出程序员调试工具。
360浏览器使用了一部分的chrome浏览器内核,也可以点击F12键弹出程序员调试工具。
调试工具中有一个按钮可以直接找出网页内容在网页源代码中的位置
点击下面红色箭头标注的按钮,如下图所示:

img_8afa420b4f0b753b4035079bf2174a1c.png
image.png

点击上图所示按钮后,再选中下图红色方框所示位置:
img_6ca5b05df094d9a067d7a80696a59eec.png
image.png

此时在程序员调试工具中可以看到已经准确定位 第1位运动员名字在源代码中的位置,如下图所示:
img_b8ae33f3d36e0081ad4be3ac70d54381.png
image.png

通过观察网页html文件查看 字段对应标签和标签的层次结构,我们就可以开始编写代码实现我们的爬虫。
其他字段的观察方法相同。

3.编写爬虫代码

编写代码的编程环境为jupyter notebook,如何打开jupyter notebook查看此链接:https://www.jianshu.com/p/bb0812a70246
requests库用于发送网页请求,并获得网页响应。
bs4库是BeautifulSoup工具的第4个版本,用于解析网页。
下面2行代码导入2个库,如果不导入则无法使用此库的方法。
第1行代码从bs4库中导入BeautifulSoup方法,取个别名bs,可以少编写代码。

from bs4 import BeautifulSoup as bs
import requests

requests库的get方法是模拟浏览器发送请求,需要1个参数,参数为请求链接,参数的数据类型为字符串。
bs4库的BeautifulSoup方法是实例化对象,需要2个参数。第1个参数为网页源代码,参数的数据类型为字符串;第2个参数为解析网页方法,参数的数据类型为字符串。

response = requests.get('http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/')
soup = bs(response.text, 'html.parser')

从目录页面获取100个运动员的姓名name、位置position、图片链接img_url这3个字段,并打印,代码如下:
因为图片展示效果,取运动员的前5个打印,athlete_list[:5]即选前5个。

athlete_list = soup.select('tr.resultsDetails li')
for athlete in athlete_list[:5]:
    name = athlete.select('h4 a')[0].text
    position = athlete.select('p.yPadding')[0].text.strip()
    img_url = 'http://www.worldrowing.com' + athlete.select('img')[0]['src']
    print(name, position, img_url)

上面一段代码的运行结果如下图所示:


img_82d9cfd55282ffd9da39c816342fc5ef.png
image.png

爬取详情页面时,需要使用requests库的get方法重新发起请求,再使用bs4库的方法进行解析。

4.完整代码

第8行代码循环遍历每个运动员。
第9行代码定义变量item为字典,每抓取1个字段信息,则保存为字典的1个键值对。
第19行代码item_list.append(item)将变量item加入列表item_list中。
第21、22行代码将抓取的信息保存为athleteRecord.xlsx文件。
代码如下:

from bs4 import BeautifulSoup as bs
import requests

response = requests.get('http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/')
soup = bs(response.text, 'html.parser')
athlete_list = soup.select('tr.resultsDetails li')
item_list = []
for athlete in athlete_list:
    item = {}
    item['name'] = athlete.select('h4 a')[0].text
    item['position'] = athlete.select('p.yPadding')[0].text.strip()
    item['img_url'] = 'http://www.worldrowing.com' + athlete.select('img')[0]['src']
    detail_url = 'http://www.worldrowing.com' + athlete.select('h4 a')[0]['href']
    response = requests.get(detail_url)
    soup = bs(response.text, 'html.parser')
    item['sex'] = soup.select('div.dd')[0].text
    item['birthdday'] = soup.select('div.dd')[1].text
    item['country'] = soup.select('h1.athleteInfoTitle span')[0].text
    item_list.append(item)
    
import pandas as pd
df = pd.DataFrame(item_list, columns=item_list[0].keys())
df.to_excel('athleteRecord.xlsx')
目录
相关文章
|
算法
LeetCode 88. 合并两个有序数组(双指针法)
LeetCode 88. 合并两个有序数组(双指针法)
161 0
|
2天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
13天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1279 5
|
12天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1307 87
|
1天前
|
弹性计算 安全 数据安全/隐私保护
2025年阿里云域名备案流程(新手图文详细流程)
本文图文详解阿里云账号注册、服务器租赁、域名购买及备案全流程,涵盖企业实名认证、信息模板创建、域名备案提交与管局审核等关键步骤,助您快速完成网站上线前的准备工作。
168 82
2025年阿里云域名备案流程(新手图文详细流程)