一、前言
在互联网信息快速传播的今天,新闻热点和社会舆情已经成为很多行业关注的重要数据。
例如:
- 企业需要关注行业新闻和市场动态;
- 运营人员需要了解近期热门话题;
- 市场研究人员需要分析用户关注的内容;
- 数据分析人员需要从大量新闻中发现热点趋势;
- 舆情监测人员需要观察不同事件的讨论热度和情绪变化。
头条汇集了新闻资讯、社会热点、娱乐、科技、体育等多个领域的内容,是一个比较典型的信息流平台。
如果我们能够通过 Python 对公开可访问的新闻信息进行采集,再结合自然语言处理技术进行分析,就可以搭建一个简单的热点数据分析程序。
本文将以头条公开可访问的新闻信息为案例,介绍如何使用 Python 完成以下工作:
- 使用 Selenium 获取动态网页内容;
- 使用 BeautifulSoup 解析新闻标题和链接;
- 通过API 获取 SOCKS5 信息;
- 使用 Pandas 整理新闻数据;
- 根据评论数对新闻进行热度排序;
- 使用 jieba 进行中文分词和关键词提取;
- 使用 SnowNLP 进行简单的情感倾向分析;
- 使用 Gensim 进行主题建模;
- 使用 Matplotlib 绘制数据统计图表。
通过这些步骤,我们可以将普通的网页采集程序扩展为一个简单的新闻热点分析工具。
说明:本文仅演示公开可访问信息的采集与分析方法。实际使用时,应遵守平台服务条款、访问频率限制及相关法律法规,不应绕过登录验证、访问控制或其他反爬安全措施。
二、准备开发环境
首先安装本文需要使用的 Python 第三方库。
pip install requests pandas beautifulsoup4 selenium
pip install jieba snownlp gensim matplotlib wordcloud
pip install "requests[socks]"
各个库的作用如下:
| Python库 | 主要作用 |
|---|---|
| requests | 发送 HTTP 请求 |
| pandas | 数据整理和统计分析 |
| BeautifulSoup | 解析 HTML 网页 |
| Selenium | 自动化操作浏览器,获取动态加载内容 |
| jieba | 中文分词 |
| SnowNLP | 中文文本情感分析 |
| Gensim | 文本主题建模 |
| Matplotlib | 绘制统计图表 |
| WordCloud | 生成关键词词云 |
| threading | 实现多线程任务处理 |
如果使用 Selenium 4,还需要准备 Chrome 浏览器及对应的浏览器驱动。建议使用 Selenium Manager 自动管理驱动,避免手动下载驱动带来的版本不匹配问题。
三、使用 Selenium 获取新闻网页内容
1. 为什么需要 Selenium?
普通的 requests 请求库可以直接获取网页 HTML,但现在很多网站采用动态加载技术。
例如,网页初始 HTML 中可能只有页面框架,新闻列表需要通过 JavaScript 执行后才能显示。
这种情况下,单纯使用 requests 获取网页源码,可能无法得到完整的新闻列表。
Selenium 可以启动真实浏览器,并模拟用户访问网页的过程,因此适合用于获取需要浏览器渲染的动态页面。
2. 创建浏览器对象
首先导入相关模块:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
创建浏览器配置:
options = Options()
# 无头模式,不显示浏览器窗口
options.add_argument("--headless=new")
# 设置窗口大小
options.add_argument("--window-size=1366,900")
# 创建浏览器对象
driver = webdriver.Chrome(options=options)
这里使用的是 Selenium 4 的写法。
3. 访问网页并等待内容加载
以头条首页为例:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
url = "https://www.toutiao.com/"
driver.get(url)
try:
WebDriverWait(driver, 15).until(
lambda d: d.execute_script(
"return document.readyState"
) == "complete"
)
print("页面加载完成")
html = driver.page_source
print(html[:1000])
finally:
driver.quit()
这里使用 driver.page_source 获取浏览器当前页面的 HTML。
需要注意,页面加载完成并不意味着所有动态内容都已经加载完成。
如果新闻列表是通过异步请求加载的,还需要根据实际页面结构等待对应元素出现。
四、解析新闻标题、链接和相关信息
获取 HTML 之后,就可以使用 BeautifulSoup 进行解析。
BeautifulSoup 是一个非常常用的 HTML 解析库,可以通过标签、属性和 CSS 选择器定位网页中的内容。
1. 创建 HTML 解析对象
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
2. 提取新闻标题和链接
新闻页面的 HTML 结构可能会随着平台改版而变化,因此不能假设所有新闻都使用固定的 CSS 类名。
下面使用通用的 HTML 解析方式演示:
news_list = []
# 查找页面中的链接
links = soup.select("a[href]")
for link in links:
title = link.get_text(strip=True)
href = link.get("href")
# 过滤没有标题或链接的元素
if not title or not href:
continue
# 过滤过短的文本
if len(title) < 5:
continue
# 只保留新闻相关链接
if "toutiao.com" not in href:
continue
news_list.append({
"title": title,
"link": href
})
print(news_list)
这段代码属于通用示例,实际使用时需要根据页面 HTML 结构进一步筛选,避免将导航链接、广告链接等内容误识别为新闻。
3. 处理重复新闻
动态网页可能出现重复元素,因此需要对采集结果进行去重。
unique_news = {
}
for item in news_list:
key = item["link"]
if key not in unique_news:
unique_news[key] = item
news_list = list(unique_news.values())
print("去重后的新闻数量:", len(news_list))
通过字典的键值特性,可以比较方便地实现去重。
4. 新闻数据结构
为了方便后续分析,建议统一新闻数据格式。
例如:
news = {
"title": "某地发生一起社会新闻事件",
"link": "https://www.example.com/news/123",
"tag": "社会",
"comment": 1250
}
字段说明:
| 字段 | 说明 |
|---|---|
| title | 新闻标题 |
| link | 新闻链接 |
| tag | 新闻分类 |
| comment | 评论数量 |
需要注意,评论数、新闻标签等字段不一定能从首页直接获取。
如果页面没有公开提供这些信息,就不能直接假设其存在。实际采集时应根据页面展示内容或平台允许使用的数据接口进行补充。
五、结合 API 获取 SOCKS5 地址
在批量采集任务中,如果需要通过网络出口发送请求,可以使用 API 获取地址信息。
这里演示一个完整的 API 接入流程。
1. 获取 Token
首先调用登录接口:
https://api.sdbufeng.vip/api/login?username=USERNAME&password=PASSWORD
接口返回示例:
{
"status": 0,
"data": {
"token": "xxxxxxx"
},
"msg": null
}
其中:
status == 0表示登录成功;data.token是后续请求需要使用的 Token;msg用于返回错误信息。
Python 代码:
import requests
LOGIN_URL = "https://api.sdbufeng.vip/api/login"
def get_token(username, password):
response = requests.get(
LOGIN_URL,
params={
"username": username,
"password": password
},
timeout=15
)
response.raise_for_status()
result = response.json()
if result.get("status") != 0:
raise Exception(
f"登录失败:{result.get('msg')}"
)
token = result.get("data", {
}).get("token")
if not token:
raise Exception("没有获取到 Token")
return token
实际开发中,建议通过环境变量读取账号密码,不要将真实账号密码直接写入公开代码。
2. 获取 SOCKS5 地址
拿到 Token 后,调用获取地址的接口:
https://api.sdbufeng.vip/bf/shared/getip?token=TOKEN&proxy_type=socks5&amount=1&expire=1-3
参数说明:
| 参数 | 说明 |
|---|---|
| token | 登录接口获取的 Token |
| proxy_type | 类型,这里使用 socks5 |
| amount | 获取网络数量 |
| expire | 有效期参数 |
Python 实现:
GET_IP_URL = "https://api.sdbufeng.vip/bf/shared/getip"
def get_proxy(token):
response = requests.get(
GET_IP_URL,
params={
"token": token,
"proxy_type": "socks5",
"amount": 1,
"expire": "1-3"
},
timeout=15
)
response.raise_for_status()
result = response.json()
return result
由于不同 API 的返回结构可能不同,第一次接入时建议先打印 JSON,确认地址、端口、用户名和密码所在的字段。
假设解析后得到:
proxy = {
"ip": "127.0.0.1",
"port": 10000,
"username": "test",
"password": "123456"
}
可以构建 requests 使用的地址配置:
def build_proxies(proxy):
proxy_url = (
f"socks5h://{proxy['username']}:"
f"{proxy['password']}@"
f"{proxy['ip']}:{proxy['port']}"
)
return {
"http": proxy_url,
"https": proxy_url
}
如果地址不需要用户名和密码,则可以使用:
proxy_url = f"socks5h://{proxy['ip']}:{proxy['port']}"
这里的 socks5h:// 表示域名解析也通过地址端完成。
注意:以上字段结构仅为示例,需要按照实际接口返回结果修改。
另外,地址只是网络请求的出口配置,并不意味着可以绕过目标网站的访问限制。
六、使用 Pandas 对新闻数据进行整理
经过前面的步骤,我们已经获得了一批新闻数据。
接下来可以使用 Pandas 将数据转换为 DataFrame,方便后续统计分析。
1. 创建 DataFrame
import pandas as pd
data = [
{
"title": "某地发布最新交通管理措施",
"tag": "社会",
"comment": "1.2万",
"link": "https://example.com/news/1"
},
{
"title": "人工智能技术取得新的进展",
"tag": "科技",
"comment": "850",
"link": "https://example.com/news/2"
},
{
"title": "国内新能源汽车市场持续增长",
"tag": "财经",
"comment": "5600",
"link": "https://example.com/news/3"
},
{
"title": "某地举办大型体育赛事",
"tag": "体育",
"comment": "3200",
"link": "https://example.com/news/4"
}
]
df = pd.DataFrame(data)
print(df)
输出结果:
title tag comment link
0 某地发布最新交通管理措施 社会 1.2万 https://example.com/news/1
1 人工智能技术取得新的进展 科技 850 https://example.com/news/2
2 国内新能源汽车市场持续增长 财经 5600 https://example.com/news/3
3 某地举办大型体育赛事 体育 3200 https://example.com/news/4
2. 将评论数转换为整数
新闻页面中的评论数有时会使用简写形式,例如:
- 850
- 3200
- 1.2万
- 3.5万
为了方便排序,需要先将评论数统一转换为数字。
def comment_to_int(value):
value = str(value).strip()
if not value:
return 0
if "万" in value:
number = value.replace("万", "")
return int(float(number) * 10000)
return int(float(value))
将转换结果写入 DataFrame:
df["comment_count"] = df["comment"].apply(
comment_to_int
)
print(df[["title", "comment_count"]])
3. 按评论数量筛选热点新闻
如果想找到评论数量最多的前 10 条新闻:
hot_news = df.sort_values(
by="comment_count",
ascending=False
).head(10)
print(hot_news)
这样就可以根据评论数量快速筛选出讨论相对活跃的新闻。
需要注意,评论数量只能作为热度参考指标之一,并不完全等于新闻的真实热度。
不同发布时间、内容类型和平台推荐机制都会影响评论数量。
七、使用 jieba 进行中文关键词提取
新闻标题通常包含大量中文词语。
如果直接统计字符,很难发现其中真正有意义的关键词。
因此,需要先进行中文分词。
jieba 是 Python 中常用的中文分词工具。
1. 安装并导入 jieba
pip install jieba
导入:
import jieba
2. 对新闻标题进行分词
title = "人工智能技术正在改变互联网行业的发展"
words = jieba.lcut(title)
print(words)
输出结果类似:
['人工智能', '技术', '正在', '改变', '互联网', '行业', '的', '发展']
可以看到,原本连续的中文标题已经被切分成多个词语。
3. 去除停用词
分词后,通常还需要去掉一些没有实际分析价值的词语。
例如:
- 的
- 了
- 是
- 在
- 和
- 我们
- 他们
这些词通常被称为停用词。
可以创建一个停用词集合:
stopwords = {
"的",
"了",
"是",
"在",
"和",
"我们",
"他们",
"一个",
"进行",
"通过",
"目前"
}
编写分词函数:
def cut_words(text):
words = jieba.lcut(text)
result = [
word for word in words
if len(word) > 1 and word not in stopwords
]
return result
4. 统计高频关键词
from collections import Counter
all_words = []
for title in df["title"]:
words = cut_words(title)
all_words.extend(words)
word_counts = Counter(all_words)
print("出现频率最高的20个关键词:")
for word, count in word_counts.most_common(20):
print(word, count)
通过统计词语出现次数,可以初步了解当前新闻数据集中哪些话题出现得比较频繁。
例如,如果近期大量新闻标题中出现:
- 人工智能
- 新能源汽车
- 消费市场
- 房地产
- 科技创新
就可以进一步结合新闻分类和发布时间,分析这些话题的变化情况。
八、使用 SnowNLP 进行新闻情感分析
除了关键词分析,我们还可以尝试判断新闻标题的情感倾向。
例如:
- 正面内容:技术取得突破、经济持续增长;
- 负面内容:事故发生、市场下跌;
- 中性内容:某项政策发布、某项活动举行。
SnowNLP 是一个比较常用的中文文本处理库,可以用于简单的情感倾向分析。
1. 安装 SnowNLP
pip install snownlp
导入:
from snownlp import SnowNLP
2. 分析单条新闻标题
title = "人工智能技术取得重大突破"
s = SnowNLP(title)
sentiment = s.sentiments
print("情感得分:", sentiment)
SnowNLP 会返回一个 0 到 1 之间的分值。
一般可以按照以下方式进行初步理解:
| 得分范围 | 初步判断 |
|---|---|
| 0.0~0.4 | 偏负面 |
| 0.4~0.6 | 情感不明显 |
| 0.6~1.0 | 偏正面 |
需要强调,这只是为了方便演示而设置的经验区间,并不是 SnowNLP 官方提供的通用情绪分类标准。
3. 批量分析新闻标题
可以对 DataFrame 中的所有标题进行分析:
def analyze_sentiment(title):
return SnowNLP(title).sentiments
df["sentiment"] = df["title"].apply(
analyze_sentiment
)
print(
df[["title", "tag", "sentiment"]]
)
4. 统计不同分类的平均情感得分
例如,我们想知道社会、科技、财经等不同分类的新闻,平均情感得分有什么区别。
可以使用 Pandas 的 groupby():
sentiment_result = (
df.groupby("tag")["sentiment"]
.mean()
.sort_values(ascending=False)
)
print(sentiment_result)
这样就能得到不同新闻分类的平均情感得分。
不过需要注意:
新闻标题的情感得分不等于真实社会舆情。
例如,一篇标题带有负面词语的新闻,正文可能是在报道一项积极的治理成果。
如果需要进行严谨的舆情研究,应结合新闻正文、评论内容、发布时间以及人工标注数据进行分析。
九、使用 Gensim 进行新闻主题分析
前面通过 jieba 提取了关键词,但关键词只能告诉我们哪些词出现得比较频繁。
如果希望进一步发现新闻数据中的主要话题,可以尝试使用主题建模技术。
这里介绍 Gensim 中的 LDA 模型。
LDA 是一种常用的主题建模方法,可以根据文本中词语的共现关系,尝试发现一组新闻文本中潜在的主题结构。
1. 安装 Gensim
pip install gensim
导入相关模块:
from gensim import corpora
from gensim.models import LdaModel
2. 准备文本数据
首先将新闻标题进行分词:
texts = []
for title in df["title"]:
words = cut_words(title)
if words:
texts.append(words)
3. 创建词典和语料库
# 创建词典
dictionary = corpora.Dictionary(texts)
# 将文本转换为词袋形式
corpus = [
dictionary.doc2bow(text)
for text in texts
]
这里:
Dictionary()用于建立词语与编号之间的映射关系;doc2bow()将每篇文本转换成词语编号和词频组成的列表。
4. 创建 LDA 模型
lda_model = LdaModel(
corpus=corpus,
id2word=dictionary,
num_topics=3,
random_state=42,
passes=10
)
其中:
num_topics=3:尝试提取 3 个主题;random_state=42:固定随机种子,方便重复实验;passes=10:训练过程中遍历语料库的次数。
主题数量需要根据数据规模和实际分析需求调整。
5. 查看主题关键词
topics = lda_model.print_topics(
num_topics=3,
num_words=8
)
for topic in topics:
print(topic)
输出结果会包含不同主题及其对应的关键词权重。
例如,可能出现类似的主题:
主题1:人工智能、科技、技术、创新、产业
主题2:市场、经济、消费、企业、发展
主题3:社会、城市、交通、居民、管理
以上仅为示意结果,实际主题取决于采集到的数据和模型训练情况。
需要注意,LDA 更适合有一定规模的文本集合。
如果只有十几条新闻标题,模型可能无法提取稳定、有意义的主题。建议积累一定数量的新闻标题或正文后再进行分析。
十、使用 Matplotlib 对热点数据进行可视化
经过前面的处理,我们已经获得了新闻分类、评论数量、情感得分和关键词统计结果。
接下来可以使用 Matplotlib 将这些数据转化为图表。
1. 统计不同分类的新闻数量
import matplotlib.pyplot as plt
# 统计分类数量
tag_counts = df["tag"].value_counts()
plt.figure(figsize=(10, 6))
tag_counts.plot(
kind="bar",
title="News Category Statistics"
)
plt.xlabel("Category")
plt.ylabel("News Count")
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()
通过柱状图,可以直观地了解不同分类的新闻数量。
2. 绘制新闻评论数量排行
top_news = df.sort_values(
by="comment_count",
ascending=False
).head(10)
plt.figure(figsize=(12, 6))
plt.barh(
top_news["title"],
top_news["comment_count"]
)
plt.xlabel("Comment Count")
plt.ylabel("News Title")
plt.title("Top 10 Hot News")
plt.gca().invert_yaxis()
plt.tight_layout()
plt.show()
这样就可以展示评论数量较高的新闻。
3. 绘制情感分析结果
sentiment_avg = (
df.groupby("tag")["sentiment"]
.mean()
)
plt.figure(figsize=(10, 6))
sentiment_avg.plot(
kind="bar",
title="Average Sentiment by Category"
)
plt.xlabel("Category")
plt.ylabel("Sentiment Score")
plt.ylim(0, 1)
plt.tight_layout()
plt.show()
通过图表,可以比较不同新闻分类的平均情感得分。
4. 生成关键词词云
如果想更加直观地展示新闻关键词,可以使用 WordCloud。
from wordcloud import WordCloud
text = " ".join(all_words)
wc = WordCloud(
font_path="simhei.ttf",
background_color="white",
width=1000,
height=600,
max_words=100
)
wc.generate(text)
plt.figure(figsize=(12, 7))
plt.imshow(
wc,
interpolation="bilinear"
)
plt.axis("off")
plt.title("News Hot Keywords")
plt.show()
这里的 simhei.ttf 是中文字体文件,需要提前准备并确保路径正确。
词云图可以直观展示关键词的出现频率,但它并不能直接代表某个话题的重要程度。
十一、将整个分析流程整合起来
前面分别介绍了数据采集、数据清洗、关键词提取、情感分析和主题建模。
实际开发时,建议将这些功能拆分成不同模块,方便后续维护。
整体流程可以概括为:
访问公开新闻页面
|
v
Selenium 获取动态网页
|
v
BeautifulSoup 解析 HTML
|
v
提取新闻标题、链接和分类
|
v
Pandas 整理采集结果
|
v
新闻数据去重和清洗
|
v
评论数量转换与热点排序
|
v
jieba 中文分词
|
v
关键词统计
|
v
SnowNLP 情感分析
|
v
Gensim 主题建模
|
v
Matplotlib 数据可视化
|
v
导出分析结果
最后,可以将处理好的新闻数据保存为 Excel:
df.to_excel(
"头条热点分析.xlsx",
index=False
)
如果提示缺少 Excel 写入依赖,可以安装:
pip install openpyxl
这样就可以将新闻标题、分类、评论数和情感得分等数据保存下来,方便后续查看和进一步分析。
十二、实际开发中的注意事项
1. 网页结构可能发生变化
Selenium 和 BeautifulSoup 依赖网页结构进行数据定位。
如果目标页面改版,原来的 CSS 选择器或 XPath 可能失效。
建议将页面解析逻辑单独封装,并对采集结果进行完整性检查。
2. 不要将评论数直接等同于新闻热度
评论数只是衡量内容讨论程度的一个指标。
如果要建立更加完整的热点评分模型,可以综合考虑:
- 评论数量;
- 点赞数量;
- 转发数量;
- 阅读量;
- 发布时间;
- 数据增长速度。
还可以根据业务需求设置不同指标的权重。
3. 情感分析需要结合上下文
SnowNLP 适合入门级文本分析,但对反讽、复杂语境、专业术语等内容的识别能力有限。
如果要用于正式舆情分析,建议结合更专业的中文 NLP 模型,并使用人工标注数据评估模型效果。
4. 主题建模需要足够的数据量
如果只有少量新闻标题,LDA 模型的结果可能不稳定。
建议积累不同时间段的新闻数据,再进行主题提取和趋势对比。
5. 合理控制采集频率
无论是否使用地址,都应该遵守目标网站的访问规则。
建议合理设置请求间隔、超时时间和任务数量,不要进行高频请求或尝试绕过访问控制。
6. 注意数据保存和隐私保护
如果采集的数据涉及用户评论或其他个人信息,应当严格遵守个人信息保护相关规定。
对于公开的新闻数据,也建议只保留分析所必需的信息,并做好数据来源和采集时间记录。
十三、总结
本文以头条公开新闻信息为案例,介绍了如何使用 Python 构建一个简单的新闻热点采集与分析流程。
涉及的核心技术包括:
| 技术 | 主要用途 |
|---|---|
| Selenium | 获取动态网页内容 |
| BeautifulSoup | 解析 HTML |
| requests | 发送 HTTP 请求 |
| SOCKS5 | 提供网络出口 |
| Pandas | 整理和统计新闻数据 |
| jieba | 中文分词与关键词提取 |
| SnowNLP | 文本情感倾向分析 |
| Gensim | 新闻主题建模 |
| Matplotlib | 数据统计和可视化 |
| WordCloud | 生成关键词词云 |
通过这些技术,我们可以将简单的新闻网页采集扩展成一个具备数据清洗、关键词提取、热点排序、情感分析和主题发现能力的小型数据分析项目。
对于 Python 爬虫开发人员来说,掌握网页采集只是基础。
真正有价值的能力,是将采集到的原始数据转化为可以统计、分析和辅助决策的信息。
从数据采集到数据分析,再到可视化展示,这也是 Python 爬虫从入门走向实际应用的重要一步。