一、背景与出发点
平时在做一些网站信息追踪或历史内容分析时，经常会遇到这样的问题：
“某网页现在已经改版了，但想看看它一年前长什么样？”
这种需求，其实在品牌公关、新闻追踪、内容对比分析等工作里并不少见。
很多人不知道，其实有个叫 Common Crawl 的公益项目，一直在持续抓取全球范围内的网页数据，并将这些网页的历史快照存成一种叫 WARC 的格式，按月开放发布。说白了，它就像是互联网的“记忆库”。
不过，这些数据量非常大，也不太适合直接阅读，因此我们更需要一种方法，把这些网页快照提取出来，并“整理成结构化信息”（比如标题、正文、链接列表等），方便后续分析使用。
下面整理了一些实践过程中的方法，都是基于 Python 的实现，适合快速验证 Common Crawl 的使用方式。如果你平时也需要做历史网页分析，或是对公开数据感兴趣，可以参考尝试。
二、主要要点（建议先看完再动手）
在处理这类网页快照数据时，以下几个点是比较关键的：
- 如何获取某个网站的快照列表？
Common Crawl 提供了一个开放接口，可以按域名搜索快照索引。 - 怎样下载对应的快照内容？
每个快照都有对应的文件路径和偏移量，需要通过 Range 请求提取。 - HTML 原始内容如何处理？
下载的内容是完整 HTTP 响应，要用解析库抽出 HTML，再用结构化工具提取字段。 - 访问速度不够快怎么办？
可借助代理服务（如亿牛云爬虫代理），避免被限速或封禁。 - 如何伪装浏览器行为？
设置 Cookie 和 User-Agent 模拟真实用户环境，有助于提高稳定性。
三、基础设置（请求头、代理等）
我们先来看下请求前的设置，包括使用代理、添加请求头等：
import requests
# 设置代理：此处为亿牛云提供的动态IP代理
proxy_host = "proxy.16yun.cn"
proxy_port = "3100"
proxy_user = "16YUN"
proxy_pass = "16IP"
proxies = {
"http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
"https": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"
}
# 模拟浏览器请求
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"Cookie": "your_cookie_if_needed"
}
四、获取快照索引数据
这个函数用于查找某个域名在 Common Crawl 中的历史记录：
def fetch_commoncrawl_index(domain):
index_url = f"https://index.commoncrawl.org/crawl-data/CC-MAIN-2024-10/index?url={domain}&output=json"
response = requests.get(index_url, headers=headers, proxies=proxies, timeout=10)
if response.status_code == 200:
return [eval(line) for line in response.text.strip().split("\n")]
else:
raise Exception(f"无法获取快照索引，状态码：{response.status_code}")
五、提取快照对应的网页内容（HTML）
从 WARC 文件中提取一段字节范围：
def download_snapshot(entry):
warc_url = f"https://commoncrawl.s3.amazonaws.com/{entry['filename']}"
offset = int(entry['offset'])
length = int(entry['length'])
headers_range = {
"Range": f"bytes={offset}-{offset + length - 1}"}
response = requests.get(warc_url, headers=headers_range, proxies=proxies, timeout=10)
if response.status_code == 206:
return response.content
else:
raise Exception("快照内容下载失败")
六、HTML内容提取为结构化字段
这一部分处理 HTML 结构，用 BeautifulSoup 进行解析：
from bs4 import BeautifulSoup
def parse_html_from_warc(warc_content):
html_start = warc_content.find(b'\r\n\r\n') + 4
html = warc_content[html_start:].decode('utf-8', errors='ignore')
soup = BeautifulSoup(html, 'html.parser')
return {
"title": soup.title.string if soup.title else "",
"links": [a.get('href') for a in soup.find_all('a', href=True)],
"paragraphs": [p.get_text(strip=True) for p in soup.find_all('p')]
}
七、小范围测试（快速验证是否成功）
这段代码可以用来验证你设置的代理、请求头、解析流程是否都通了：
if __name__ == "__main__":
test_domain = "example.com"
entries = fetch_commoncrawl_index(test_domain)
if entries:
print(f"找到 {len(entries)} 条快照")
warc_data = download_snapshot(entries[0])
result = parse_html_from_warc(warc_data)
print("网页标题：", result['title'])
else:
print("没有找到相关记录")
八、一些建议
- Common Crawl 数据中很多网页内容是老旧的，不一定能和今天访问效果一致，结构会比较杂乱；
- 结构化处理时建议用 JSON 存储，有利于后续文本索引或可视化；
- 如果打算长期分析多个站点快照，建议用 MongoDB、ES 之类的系统进行组织；
- 代理访问在一些区域可能不稳定，可适当增加超时、重试机制，避免中断。
结语
整体来看，从 Common Crawl 提取网页快照并做结构化处理并不复杂，但整个流程有不少技术细节，比如偏移下载、解码处理、HTML解析等。通过这份笔记的实践，希望你可以快速掌握基本方法，并将它用在你的分析任务中。
如果你对这类数据应用还有进一步的想法，比如批量对比、文本提取、关键词趋势跟踪等，这套方法也能为你提供一定的基础支持。
如需继续探索，可以尝试切换不同月份的快照版本，或结合自然语言处理技术，对内容进行更深入的挖掘。
