免费编程软件「python+pycharm」
链接：https://pan.quark.cn/s/48a86be2fdc0
在信息爆炸的时代，知乎热榜作为知识社区的“风向标”，实时反映着用户最关注的热点话题。无论是数据分析、内容创作还是市场调研，掌握爬取知乎热榜的技能都能让你事半功倍。本文将以“小白友好”的方式，通过Python代码分步骤实现知乎热榜的爬取，同时规避常见风险，确保高效稳定运行。
一、环境准备：工具与依赖安装
开发环境选择
推荐使用Python 3.8+版本，因其对异步请求和现代库的支持更完善。建议通过Anaconda管理环境，避免依赖冲突。核心库安装
通过pip安装以下库：
pip install requests beautifulsoup4 fake-useragent lxml
requests：发送HTTP请求的核心库。
BeautifulSoup：解析HTML的利器。
fake-useragent：随机生成User-Agent，模拟浏览器行为。
lxml：加速HTML解析（可选，但推荐）。
- 代理IP池（可选但关键）
知乎对频繁请求有反爬机制，建议提前准备代理IP池。可通过免费代理网站（如西刺代理）或付费服务（如站大爷）获取。
二、代码实现：分步骤解析
- 模拟浏览器请求
知乎会检测User-Agent，需设置随机请求头：
from fake_useragent import UserAgent
import requests
ua = UserAgent()
headers = {
'User-Agent': ua.random,
'Referer': 'https://www.zhihu.com',
}
- 获取热榜页面
知乎热榜URL为https://www.zhihu.com/hot，直接发送GET请求：
url = 'https://www.zhihu.com/hot'
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # 检查请求是否成功
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
exit()
- 解析HTML内容
使用BeautifulSoup提取热榜标题、链接和热度：
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')
hot_list = soup.select('.HotList-item') # 热榜项的CSS选择器
results = []
for item in hot_list[:10]: # 取前10条
title = item.select_one('.HotList-itemTitle').text.strip()
link = 'https://www.zhihu.com' + item.select_one('a')['href']
hot_value = item.select_one('.HotList-itemMetrics').text.strip()
results.append({'title': title, 'link': link, 'hot_value': hot_value})
- 数据存储与输出
将结果保存为CSV文件，便于后续分析：
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')
hot_list = soup.select('.HotList-item') # 热榜项的CSS选择器
results = []
for item in hot_list[:10]: # 取前10条
title = item.select_one('.HotList-itemTitle').text.strip()
link = 'https://www.zhihu.com' + item.select_one('a')['href']
hot_value = item.select_one('.HotList-itemMetrics').text.strip()
results.append({'title': title, 'link': link, 'hot_value': hot_value})
三、完整代码与运行
整合后的完整代码：
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import csv
def fetch_zhihu_hot():
ua = UserAgent()
headers = {
'User-Agent': ua.random,
'Referer': 'https://www.zhihu.com',
}
url = 'https://www.zhihu.com/hot'
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
return
soup = BeautifulSoup(response.text, 'lxml')
hot_list = soup.select('.HotList-item')
results = []
for item in hot_list[:10]:
title = item.select_one('.HotList-itemTitle').text.strip()
link = 'https://www.zhihu.com' + item.select_one('a')['href']
hot_value = item.select_one('.HotList-itemMetrics').text.strip()
results.append({'title': title, 'link': link, 'hot_value': hot_value})
with open('zhihu_hot.csv', 'w', newline='', encoding='utf-8') as f:
writer = csv.DictWriter(f, fieldnames=['title', 'link', 'hot_value'])
writer.writeheader()
writer.writerows(results)
print("数据已保存至zhihu_hot.csv")
if name == 'main':
fetch_zhihu_hot()
运行步骤：
将代码保存为zhihu_hot.py。
在终端执行python zhihu_hot.py。
检查当前目录下的zhihu_hot.csv文件。
四、反爬策略与优化
- 请求频率控制
知乎对高频请求会触发验证码或封IP，建议：
每次请求间隔3-5秒（time.sleep(3)）。
使用代理IP轮换（需配合requests.Session）。
- 代理IP管理
示例：从代理池中随机选择IP：
import random
proxies = [
{'http': 'http://123.123.123.123:8080'},
{'http': 'http://124.124.124.124:8080'},
]
proxy = random.choice(proxies)
response = requests.get(url, headers=headers, proxies=proxy, timeout=10)
- 动态内容处理（高级）
若知乎改用JavaScript加载数据，需使用selenium或playwright模拟浏览器行为：
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.zhihu.com/hot')
html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
后续解析逻辑同上
五、常见问题Q&A
Q1：被网站封IP怎么办？
A：立即启用备用代理池，建议使用住宅代理（如站大爷IP代理），配合每请求更换IP策略。若为短期封禁，可暂停请求1-2小时后重试。
Q2：为什么获取的数据为空？
A：可能原因：
知乎页面结构更新，需调整CSS选择器（如.HotList-item）。
请求被拦截，尝试更换User-Agent或代理IP。
未正确处理异步加载内容，需改用selenium。
Q3：如何爬取更多数据（如前50条）？
A：修改代码中的切片范围：
hot_list = soup.select('.HotList-item')[:50] # 取前50条
Q4：是否需要登录知乎账号？
A：热榜页面无需登录即可访问，但若需爬取用户个人数据（如回答），需模拟登录（涉及Cookie管理，复杂度较高）。
Q5：如何避免法律风险？
A：
严格遵守知乎的robots.txt协议（可通过https://www.zhihu.com/robots.txt查看）。
仅用于个人学习或研究，禁止商业用途。
控制请求频率，避免对服务器造成压力。
六、总结与扩展
通过本文，你已掌握用Python爬取知乎热榜的核心技能。关键点包括：模拟浏览器请求、解析HTML结构、处理反爬机制。未来可进一步探索：
结合pandas进行数据分析。
定时任务（如APScheduler）实现自动更新。
部署到云服务器（如阿里云ECS）实现24小时监控。
爬虫的本质是“模拟人类操作”，保持对目标网站的尊重与合规，才能走得更远。
