引言
在当前电商竞争激烈的背景下，商品价格与用户评价变化对商家与消费者都至关重要。如何实时抓取京东等大型电商平台上的商品信息，并对价格波动趋势进行监控和分析，成为数据分析与商业决策的重要依据。本案例以爬虫技术为核心，通过代理IP技术（参照爬虫代理）实现数据的稳定采集，同时结合模拟真实用户请求。接下来，我们将详细介绍关键数据分析、代码演变模式以及制作「技术关系图谱」的思路。
关键数据分析
数据采集目标
- 商品信息：包括商品标题、详情链接、图片等。
- 价格数据：实时获取商品价格，并监控动态变化趋势。
- 用户评价：抓取评价数量、好评率及部分评论内容，辅助分析用户反馈。
数据分析价值
- 价格动态监控：实时了解价格波动，助力商家制定促销策略；
- 评价趋势分析：通过用户反馈，监控商品受欢迎程度，发现市场热点；
- 竞争情报获取：对比不同平台或不同时间段的价格与评价数据，为竞争策略提供数据支持。
代码演变模式可视化
在实际开发过程中，代码从最初的简单请求逐步演进为具备代理IP、cookie与User-Agent设置，以及异常处理、数据解析和后续趋势分析的完整体系。以下代码示例展示了主要步骤：
import requests
from bs4 import BeautifulSoup
import time
import random
# ------------------------------
# 代理IP设置（参考亿牛云爬虫代理 www.16yun.cn）
# ------------------------------
proxy_username = "16YUN" # 代理用户名
proxy_password = "16IP" # 代理密码
proxy_domain = "proxy.16yun.cn" # 代理域名
proxy_port = "8080" # 代理端口
# 构造代理字典，支持http与https
proxies = {
"http": f"http://{proxy_username}:{proxy_password}@{proxy_domain}:{proxy_port}",
"https": f"http://{proxy_username}:{proxy_password}@{proxy_domain}:{proxy_port}"
}
# ------------------------------
# 请求头设置：包括Cookie和User-Agent
# ------------------------------
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36",
"Cookie": "your_cookie_value_here" # 根据实际需要替换Cookie
}
def fetch_page(url):
"""
使用代理IP及请求头信息请求目标页面，返回页面HTML内容
"""
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
if response.status_code == 200:
return response.text
else:
print(f"请求失败，状态码：{response.status_code}")
return None
except Exception as e:
print(f"请求异常：{e}")
return None
def parse_product_info(html):
"""
利用BeautifulSoup解析页面，提取商品名称、价格和评价信息
注：以下解析规则为示例，需根据实际页面结构进行调整
"""
soup = BeautifulSoup(html, "html.parser")
products = []
# 以class为product-item的节点作为示例
for item in soup.select(".product-item"):
product_name = item.select_one(".product-title").get_text(strip=True) if item.select_one(".product-title") else "未知"
product_price = item.select_one(".product-price").get_text(strip=True) if item.select_one(".product-price") else "未知"
product_comment = item.select_one(".product-comment").get_text(strip=True) if item.select_one(".product-comment") else "暂无评价"
products.append({
"name": product_name,
"price": product_price,
"comment": product_comment
})
return products
def analyze_price_trend(price_history):
"""
简单的价格趋势分析函数示例
price_history: 列表，每个元素为某时刻的价格
该函数可进一步扩展，如利用统计模型或可视化库展示趋势图
"""
if not price_history:
print("无价格数据")
return
average_price = sum(price_history) / len(price_history)
print(f"平均价格为：{average_price:.2f}")
# 其他分析逻辑可根据需求添加
if __name__ == "__main__":
# 示例：采集京东首页数据
jd_url = "https://www.jd.com"
html_content = fetch_page(jd_url)
if html_content:
product_data = parse_product_info(html_content)
# 输出采集到的数据
for product in product_data:
print(product)
# 模拟动态价格数据采集（示例代码）
price_history = []
for _ in range(5):
# 模拟请求间隔，避免请求过快
time.sleep(random.uniform(1, 3))
# 此处应使用实际商品详情页链接，以下仅为示例
detail_html = fetch_page(jd_url)
if detail_html:
# 假设页面中价格元素的选择器为".price"
soup = BeautifulSoup(detail_html, "html.parser")
price_text = soup.select_one(".price").get_text(strip=True) if soup.select_one(".price") else "0"
try:
price_value = float(price_text.replace("￥", ""))
except:
price_value = 0
price_history.append(price_value)
print(f"采集到价格：{price_value}")
# 分析采集的价格动态趋势
analyze_price_trend(price_history)
代码说明
- 代理设置：使用爬虫代理的域名、端口、用户名、密码，确保请求可以稳定穿过目标网站的防爬策略。
- 请求头配置：通过设置User-Agent模拟浏览器行为，同时加入Cookie，提升请求的合法性。
- 数据解析与动态采集：使用BeautifulSoup对页面进行解析，提取商品标题、价格及评价；同时模拟定时请求采集动态价格数据，后续可结合统计方法进一步分析趋势。
技术关系图谱
为了更直观地展示整个系统的技术演进和模块之间的关系，我们设计了如下「技术关系图谱」：
┌─────────────────┐
│ 爬虫控制层 │
│（调度、异常处理） │
└─────────┬───────┘
│
┌───────────────┼─────────────────┐
│ │
┌─────────────┐ ┌─────────────┐
│ HTTP请求模块 │ │ 数据解析模块│
│ (Requests) │ │ (BeautifulSoup)│
└──────┬──────┘ └──────┬──────┘
│ │
│ │
│ ┌────────────────────────┴─────────────┐
│ │ 数据存储/分析层 │
│ │（动态价格趋势监控、统计分析、可视化） │
│ └──────────────────────────────────────┘
│
┌──────┴───────┐
│ 代理模块 │
│ (亿牛云爬虫代理)│
└─────────────┘
该图谱直观地描绘了从爬虫控制层开始，经由HTTP请求模块（集成代理IP）、数据解析模块，最终实现数据存储与动态价格分析的完整流程。同时，各模块之间的数据交互、异常处理以及未来扩展（如日志记录、分布式调度等）均在图谱中有所体现，为开发者提供了全局视角。
总结
本案例以京东网站为例，展示了如何利用代理IP、Cookie及User-Agent等技术手段，实现电商网站动态价格数据的实时抓取与分析。通过关键数据的获取与解析，以及动态价格趋势的简单统计，为进一步的商业数据分析和策略制定奠定了基础。代码的逐步演变过程和「技术关系图谱」则为开发者提供了一个清晰的技术路径图，方便在实际项目中根据需求进行扩展和优化。
