一、前言
平时我们在选择一本书时,往往会参考豆瓣评分、评分人数以及其他读者的评价。
如果只是查看几本书,直接访问网站就可以了。但如果想从更大的数据范围内了解图书评分规律,例如:
- 哪些图书的评分相对较高?
- 不同类型的图书,评分分布有什么区别?
- 不同年代出版的图书,评分是否存在差异?
- 评分高的图书,是否意味着评分人数也更多?
- 哪些出版社或作者的图书更受读者认可?
仅靠人工查看显然效率不高。
这时就可以利用 Python 的爬虫和数据分析技术,将公开且允许采集的图书信息整理成结构化数据,再通过数据分析和图表展示,寻找其中的规律。
本文以豆瓣图书信息为案例,介绍如何使用 Scrapy、Pandas 和 Matplotlib 搭建一个简单的图书评分数据分析流程。
需要说明的是,本文以获得授权或允许访问的数据为前提。实际采集时应遵守网站服务条款和访问规则,不绕过登录验证、验证码或其他访问控制措施。
二、项目整体流程
本次实战主要分为四个部分:
| 阶段 | 使用技术 | 主要任务 |
|---|---|---|
| 数据采集 | Scrapy | 获取图书基本信息和评分 |
| 网络配置 | socks/http地址 | 配置合规的网络出口 |
| 数据处理 | Pandas | 清洗数据、去重、字段转换 |
| 数据可视化 | Matplotlib | 绘制评分分布和对比图表 |
最终希望得到一份结构化的 CSV 数据文件,包含以下字段:
| 字段 | 含义 |
|---|---|
| title | 图书名称 |
| author | 作者 |
| publisher | 出版社 |
| pub_date | 出版日期 |
| price | 图书定价 |
| rating | 豆瓣评分 |
| rating_num | 评分人数 |
| tags | 图书标签 |
有了这些基础数据,就可以进一步开展评分分布、出版年代和图书类别等维度的分析。
三、使用 Scrapy 采集图书数据
1. 安装 Scrapy
Scrapy 是 Python 中比较成熟的爬虫框架,支持请求调度、网页解析、数据提取、并发控制和数据导出等功能。
首先安装依赖:
pip install scrapy pandas matplotlib
创建 Scrapy 项目:
scrapy startproject douban_project
项目创建完成后,目录结构大致如下:
douban_project/
│
├── douban_project/
│ ├── spiders/
│ │ └── douban.py
│ ├── items.py
│ ├── middlewares.py
│ └── settings.py
│
└── scrapy.cfg
本次主要修改 spiders/douban.py,编写图书信息采集逻辑。
2. 编写图书信息采集程序
Scrapy 中最核心的部分是 Spider。
我们需要完成以下工作:
- 接收允许采集的图书详情页地址;
- 发送网页请求;
- 解析图书名称、作者、出版社等信息;
- 提取评分和评分人数;
- 将数据交给 Scrapy 的数据导出机制。
这里采用传入图书详情页 URL 的方式启动爬虫,避免直接遍历整个网站,也方便后续使用经过授权的数据源。
创建 douban.py:
# -*- coding: utf-8 -*-
import scrapy
import re
class DoubanSpider(scrapy.Spider):
name = "douban"
allowed_domains = ["book.douban.com"]
def start_requests(self):
# 这里填写已获准采集的图书详情页地址
urls = [
"https://book.douban.com/subject/图书ID/",
]
for url in urls:
yield scrapy.Request(
url=url,
callback=self.parse_detail
)
def parse_detail(self, response):
item = {
}
# 图书名称
item["title"] = response.xpath(
'//h1//span/text()'
).get(default="").strip()
# 作者
item["author"] = response.xpath(
'//*[contains(text(),"作者")]/following-sibling::a[1]/text()'
).get(default="").strip()
# 出版社
item["publisher"] = response.xpath(
'//*[contains(text(),"出版社")]/following-sibling::text()'
).get(default="").strip()
# 出版日期
item["pub_date"] = response.xpath(
'//*[contains(text(),"出版年")]/following-sibling::text()'
).get(default="").strip()
# 定价
item["price"] = response.xpath(
'//*[contains(text(),"定价")]/following-sibling::text()'
).get(default="").strip()
# 评分
item["rating"] = response.xpath(
'//strong[contains(@class,"rating_num")]/text()'
).get(default="").strip()
# 评分人数
rating_text = response.xpath(
'//*[contains(@class,"rating_people")]/span/text()'
).get(default="")
# 提取数字
match = re.search(r"\d+", rating_text)
item["rating_num"] = (
match.group() if match else ""
)
# 图书标签
item["tags"] = response.xpath(
'//div[@id="db-tags-section"]//a/text()'
).getall()
yield item
注意:以上 XPath 是基于常见页面结构编写的示例。网站页面结构可能调整,实际使用时需要检查目标页面 HTML,并根据真实 DOM 修改选择器。部分字段也可能因页面布局、登录状态或数据展示方式不同而无法提取。
3. 配置 CSV 数据导出
Scrapy 自带数据导出功能,不需要在 Spider 的 close() 方法中手动维护数据列表,也不需要自己编写 CSV 保存逻辑。
在 settings.py 中增加:
# 导出 CSV 文件
FEEDS = {
"douban_books.csv": {
"format": "csv",
"encoding": "utf-8-sig",
"overwrite": True,
}
}
这样,爬虫运行时通过 yield item 返回的数据就会自动保存到 CSV 文件中。
运行命令:
scrapy crawl douban
如果采集成功,就会生成:
douban_books.csv
文件中保存了图书的名称、作者、出版社、出版日期、评分和评分人数等信息。
四、地址的配置与使用
在实际的数据采集项目中,网络连接质量会直接影响请求的稳定性。
例如,网络线路不稳定可能造成请求超时;不同网络出口的访问情况也可能存在差异。
在获得网站允许的前提下,可以根据业务需要配置网络出口。
1. 获取地址
这里以一个地址 API 为例,演示 Python 如何调用接口获取 SOCKS5 地址信息。
首先安装 requests:
pip install "requests[socks]"
登录接口:
https://api.sdbufeng.vip/api/login
获取地址接口:
https://api.sdbufeng.vip/bf/shared/getip
登录接口需要传入用户名和密码,成功后返回 Token。
示例代码:
import requests
import os
USERNAME = os.getenv("PROXY_USERNAME")
PASSWORD = os.getenv("PROXY_PASSWORD")
def get_token():
url = "https://api.sdbufeng.vip/api/login"
params = {
"username": USERNAME,
"password": PASSWORD
}
response = requests.get(
url,
params=params,
timeout=15
)
result = response.json()
if result.get("status") == 0:
token = result["data"]["token"]
print("Token 获取成功")
return token
else:
raise Exception(
f"登录失败:{result.get('msg')}"
)
if __name__ == "__main__":
token = get_token()
print("当前 Token:", token)
这里使用环境变量保存账号密码,避免将真实账号直接写入公开代码。
Windows 可以通过以下方式设置环境变量:
set PROXY_USERNAME=你的用户名
set PROXY_PASSWORD=你的密码
Linux 环境可以使用:
export PROXY_USERNAME="你的用户名"
export PROXY_PASSWORD="你的密码"
2. 获取 SOCKS5地址信息
拿到 Token 后,就可以调用地址接口。
def get_proxy(token):
url = "https://api.sdbufeng.vip/bf/shared/getip"
params = {
"token": token,
"proxy_type": "socks5",
"amount": 1,
"expire": "1-3"
}
response = requests.get(
url,
params=params,
timeout=15
)
result = response.json()
print("地址接口返回数据:")
print(result)
return result
这里需要特别注意:
不同地址接口返回的数据结构可能不同。实际使用时,应先查看接口返回的 JSON,再根据真实字段提取地址、端口、用户名和密码。
不要直接假设接口一定返回 地址、port、username、password 这几个字段。
3. SOCKS5 的使用方式
如果接口返回的地址信息包含地址、端口、用户名和密码,可以通过 Requests 进行连接测试。
示例:
import requests
proxy_host = "地址"
proxy_port = "端口"
proxy_user = "用户名"
proxy_pass = "密码"
proxy_url = (
f"socks5h://{proxy_user}:{proxy_pass}"
f"@{proxy_host}:{proxy_port}"
)
proxies = {
"http": proxy_url,
"https": proxy_url
}
response = requests.get(
"https://httpbin.org/ip",
proxies=proxies,
timeout=15
)
print(response.text)
其中:
socks5h表示通过地址端解析目标域名;proxy_host是地址;proxy_port是端口;proxy_user和proxy_pass是地址认证信息。
需要注意一个技术细节:
Scrapy 默认的 HttpProxyMiddleware 主要处理 HTTP/HTTPS 代理,不能直接把 SOCKS5 地址当作普通 HTTP 代理使用。
如果需要在 Scrapy 项目中使用 SOCKS5,需要额外配置支持 SOCKS5 的下载处理方案,或者通过本地代理转发程序将 SOCKS5 连接转换成 Scrapy 能使用的 HTTP 代理入口。
因此,不建议简单地在 Scrapy 的 settings.py 中填写 SOCKS5 地址,就认为已经完成了地址配置。
另外,地址只是网络连接配置的一部分,并不能保证目标网站一定允许访问,也不能代替对网站访问规则的遵守。
五、使用 Pandas 清洗图书数据
完成数据采集后,我们得到了 douban_books.csv 文件。
但原始数据往往存在一些问题,例如:
- 部分字段为空;
- 同一本图书可能重复出现;
- 评分和评分人数最初是字符串;
- 出版日期格式不统一;
- 图书标签是列表或字符串,不方便统计。
因此,需要使用 Pandas 对数据进行清洗。
1. 读取 CSV 文件
import pandas as pd
df = pd.read_csv(
"douban_books.csv",
encoding="utf-8-sig"
)
print(df.head())
print(df.info())
head() 可以查看前几条数据,info() 可以查看字段类型和非空数据数量。
2. 删除重复数据
图书数据可能因为重复采集而出现重复记录。
可以根据图书名称进行去重:
df.drop_duplicates(
subset=["title"],
keep="first",
inplace=True
)
如果需要更加严谨,可以结合图书详情页 URL 或图书唯一 ID 进行去重。
3. 处理评分和评分人数
评分和评分人数需要转换为数值类型,才能进行统计分析。
df["rating"] = pd.to_numeric(
df["rating"],
errors="coerce"
)
df["rating_num"] = pd.to_numeric(
df["rating_num"],
errors="coerce"
)
其中:
errors="coerce" 表示无法转换的内容会被设置为 NaN,方便后续统一处理。
4. 处理出版日期
出版日期可能包含年份、月份或具体日期。
为了方便分析,我们先从出版日期中提取四位数年份:
df["pub_year"] = pd.to_numeric(
df["pub_date"].astype(str).str.extract(
r"(\d{4})"
)[0],
errors="coerce"
)
再根据年份划分年代:
df["pub_decade"] = (
df["pub_year"] // 10
) * 10
例如:
- 1985 年对应 1980;
- 1996 年对应 1990;
- 2008 年对应 2000;
- 2023 年对应 2020。
5. 处理图书标签
标签字段可以统一转换为字符串,方便后续分析。
def format_tags(value):
if isinstance(value, list):
return ",".join(value)
if pd.isna(value):
return ""
return str(value)
df["tags"] = df["tags"].apply(format_tags)
6. 删除无效数据并保存
评分和评分人数是本次分析的重要字段,如果缺失,就无法参与相关统计。
可以删除这些关键字段为空的数据:
df.dropna(
subset=["title", "rating", "rating_num"],
inplace=True
)
# 只保留合理范围内的评分
df = df[
(df["rating"] >= 0) &
(df["rating"] <= 10)
]
df.to_csv(
"douban_books_cleaned.csv",
index=False,
encoding="utf-8-sig"
)
print("数据清洗完成!")
print("有效图书数量:", len(df))
至此,数据清洗工作就完成了。
六、使用 Matplotlib 进行可视化分析
有了清洗后的数据,就可以通过图表直观展示图书评分的分布规律。
首先安装 Matplotlib:
pip install matplotlib
导入相关模块:
import pandas as pd
import matplotlib.pyplot as plt
# 设置中文字体
plt.rcParams["font.sans-serif"] = ["SimHei"]
# 解决负号显示问题
plt.rcParams["axes.unicode_minus"] = False
df = pd.read_csv(
"douban_books_cleaned.csv"
)
1. 图书评分分布直方图
首先分析所有图书的评分分布情况。
plt.figure(figsize=(9, 6))
plt.hist(
df["rating"],
bins=20,
edgecolor="black",
alpha=0.8
)
plt.xlabel("图书评分")
plt.ylabel("图书数量")
plt.title("豆瓣图书评分分布")
plt.grid(axis="y", alpha=0.3)
plt.savefig(
"rating_distribution.png",
dpi=300,
bbox_inches="tight"
)
plt.show()
通过直方图,可以观察评分主要集中在哪个区间。
例如,如果大量图书集中在 7 分至 9 分之间,就说明当前样本中的图书评分主要分布在这个范围。
需要注意,图表反映的是本次采集样本的分布,并不一定代表整个豆瓣图书数据库的整体情况。
2. 不同评分等级的图书占比
我们可以根据评分将图书划分为三个等级:
- 低分:0~7 分;
- 中等:7~8.5 分;
- 高分:8.5~10 分。
这里的区间仅用于本次分析,并不是豆瓣官方的评分等级。
df["rating_level"] = pd.cut(
df["rating"],
bins=[0, 7, 8.5, 10],
labels=["低分", "中等", "高分"],
include_lowest=True
)
rating_counts = (
df["rating_level"]
.value_counts()
.reindex(["低分", "中等", "高分"])
)
plt.figure(figsize=(8, 6))
plt.pie(
rating_counts,
labels=rating_counts.index,
autopct="%.2f%%",
startangle=90
)
plt.title("不同评分等级的图书占比")
plt.savefig(
"rating_level_pie.png",
dpi=300,
bbox_inches="tight"
)
plt.show()
通过饼图,可以快速了解不同评分区间的图书数量占比。
3. 不同年代图书的评分对比
接下来分析不同年代出版的图书,其评分是否存在差异。
df["pub_decade"] = (
df["pub_year"] // 10
) * 10
decade_data = df.dropna(
subset=["pub_decade", "rating"]
).copy()
decades = sorted(
decade_data["pub_decade"].unique()
)
ratings_by_decade = [
decade_data[
decade_data["pub_decade"] == decade
]["rating"]
for decade in decades
]
plt.figure(figsize=(10, 6))
plt.boxplot(
ratings_by_decade,
tick_labels=[str(int(x)) for x in decades]
)
plt.xlabel("出版年代")
plt.ylabel("图书评分")
plt.title("不同年代图书评分分布")
plt.savefig(
"rating_by_decade.png",
dpi=300,
bbox_inches="tight"
)
plt.show()
箱线图可以展示不同年代图书评分的中位数、分布范围和异常值。
通过比较各年代箱体的位置,可以初步观察不同年代图书评分的差异。
不过,评分差异并不一定由出版年代造成,还可能受到图书类型、读者群体、评分人数等因素影响。
4. 图书评分与评分人数的关系
评分人数也是一个值得分析的指标。
通常情况下,评分人数越多,说明参与评价的用户越多,但这并不意味着评分一定更高。
我们可以使用散点图观察评分与评分人数之间的关系。
plt.figure(figsize=(9, 6))
plt.scatter(
df["rating"],
df["rating_num"],
alpha=0.5
)
plt.xlabel("图书评分")
plt.ylabel("评分人数")
plt.title("图书评分与评分人数关系")
plt.grid(alpha=0.3)
plt.savefig(
"rating_num_scatter.png",
dpi=300,
bbox_inches="tight"
)
plt.show()
如果评分人数差异非常大,部分图书可能会让散点图显得比较拥挤。
这时可以使用对数坐标:
plt.figure(figsize=(9, 6))
plt.scatter(
df["rating"],
df["rating_num"],
alpha=0.5
)
plt.yscale("log")
plt.xlabel("图书评分")
plt.ylabel("评分人数(对数坐标)")
plt.title("图书评分与评分人数关系")
plt.savefig(
"rating_num_log.png",
dpi=300,
bbox_inches="tight"
)
plt.show()
使用对数坐标后,可以更清楚地观察评分人数较少和较多的图书分布情况。
5. 找出评分较高的图书
除了绘制图表,我们还可以直接使用 Pandas 对图书进行排序,找出评分较高的图书。
top_books = df.sort_values(
by=["rating", "rating_num"],
ascending=[False, False]
)
print(
top_books[
["title", "author", "rating", "rating_num"]
].head(20)
)
这里先按照评分从高到低排序,评分相同时再按照评分人数从高到低排序。
这样可以得到一个简单的高评分图书列表。
但需要注意,评分人数较少的图书可能因为少量用户评价而获得较高分数。因此,在实际推荐或排名场景中,还应结合评分人数设置最低样本门槛,或者使用更加合理的综合评分算法。
七、进一步扩展:统计热门图书标签
除了评分和出版年代,还可以通过图书标签了解不同类型图书的分布。
例如,统计出现频率最高的 15 个标签:
from collections import Counter
tag_counter = Counter()
for tags in df["tags"].dropna():
for tag in str(tags).split(","):
tag = tag.strip()
if tag:
tag_counter[tag] += 1
top_tags = tag_counter.most_common(15)
labels = [
item[0] for item in top_tags
]
counts = [
item[1] for item in top_tags
]
plt.figure(figsize=(10, 7))
plt.barh(
labels[::-1],
counts[::-1]
)
plt.xlabel("出现次数")
plt.ylabel("图书标签")
plt.title("热门图书标签 TOP15")
plt.savefig(
"book_tags_top15.png",
dpi=300,
bbox_inches="tight"
)
plt.show()
通过标签统计,可以大致了解样本中哪些图书类别出现得比较频繁。
例如文学、小说、历史、心理学等标签,如果出现次数较高,就说明它们在当前采集样本中占比较大。
这里统计的是标签出现次数,并不等于图书真实销量或读者实际购买量。
八、项目总结
本文以豆瓣图书评分数据为案例,完成了一个简单的数据采集与可视化分析项目。
整个项目主要涉及以下几个知识点:
1. Scrapy 爬虫框架
学习了如何创建 Spider、发送网页请求、使用 XPath 解析网页,以及通过 Scrapy 内置的数据导出功能保存 CSV 文件。
2. 地址配置
介绍了如何通过 API 获取代理 Token 和 SOCKS5 地址信息,并使用 Requests 进行代理连接测试。同时说明了 Scrapy 默认代理中间件与 SOCKS5 之间的兼容问题。
3. Pandas 数据清洗
学习了 CSV 文件读取、重复数据删除、空值处理、数值类型转换、出版年代提取等常用操作。
4. Matplotlib 数据可视化
通过直方图、饼图、箱线图、散点图和柱状图,从不同维度分析图书评分及标签分布。
从实际开发角度来看,爬虫的价值并不仅仅是获取网页数据,更重要的是将非结构化信息整理成可分析的数据,再通过数据分析发现有价值的信息。
如果后续有更大规模、来源合规的图书数据,还可以进一步引入词频分析、图书类别聚类、评分预测等方法,让这个项目从简单的数据可视化逐步扩展为完整的数据分析项目。