一、系统核心价值与目标
- 核心价值：
- 数据精准度：通过官方API获取权威数据，避免爬虫导致的字段缺失或延迟。
- 响应时效性：实时追踪价格波动、库存变化、促销活动，支撑动态定价与供应链优化。
- 合规性：完全符合淘宝平台规则，规避法律风险与账号封禁。
- 目标场景：
- 竞品价格监控与动态定价。
- 库存预警与供应链管理。
- 促销活动效果分析与对标。
二、系统架构设计
采用分层架构，分为以下模块：
1. 数据接入层
- API对接：
- 使用淘宝开放平台（TOP）的
taobao.item.get接口获取商品基础信息（价格、库存、促销价）。 - 通过
taobao.item.sku.get接口获取多规格商品的价格与库存。 - 批量请求支持：合并多个商品ID（单次最多20个）减少调用次数。
- 鉴权与限流：
- 通过AppKey、AppSecret进行身份验证，使用OAuth2.0或HMAC-SHA256签名。
- 令牌桶算法控制请求频率（如QPS≤5次/秒），避免触发限流。
- 异常重试机制：指数退避策略（首次1秒，二次3秒，最多5次）。
2. 数据处理层
- 数据清洗与映射：
- 解析API返回的嵌套字段（如
skuBase与skuList），建立业务字段与API字段的映射关系。 - 示例：将
promotionPrice映射至业务侧的“实时售价”，提取skuProps中的规格属性（如“颜色:红色;尺寸:XL”）。
- 多规格处理：
- 遍历
skuList数组，生成“商品ID-规格ID-规格名称-当前价格”的关联表，支持多规格商品监控。
3. 存储层
- 混合存储架构：
- MySQL：存储历史数据（价格变动记录、库存快照、评价归档）。
- 表设计：商品基础表、价格变动表、库存明细表、评价表。
- Redis：缓存实时数据（当前价格、可用库存、近24小时新增评价），设置2小时过期时间。
4. 应用层
- 数据可视化与告警：
- Web控制台展示竞品数据看板（价格趋势图、库存变化曲线、评价情感占比）。
- 告警规则配置：
- 价格波动阈值（如±5%）。
- 库存预警线（如低于20件）。
- 负面评价关键词（如“假货”“质量差”）。
- 告警方式：企业微信推送、短信通知、邮件提醒。
三、核心功能实现
1. 价格监控
- 动态价格捕捉：
- 基础价格：通过
price字段获取基准价，salePrice获取日常售价，promotionPrice获取活动价。 - 活动价时效性：解析
promotion对象中的startTime与endTime，确保抓取生效中的实际售价。
- 价格变动检测：
- 增量对比法：每次获取价格后与Redis缓存的上一时刻价格比对，变动幅度超过阈值（如3%）则记录至MySQL，并触发告警。
- 冷静期机制：5分钟内同一商品多次变动仅触发一次告警。
2. 库存监控
- 常规库存抓取：
- 普通商品：直接读取
stock字段。 - 多规格商品：解析
skuList中每个子项的stock字段，计算总库存。
- 特殊库存处理：
- 预售商品：抓取
preSale对象中的preSaleStock（预售总库存）与bookedCount（已预订数），计算可售库存。 - 套餐商品：解析
comboItems数组，以最低库存作为套餐可售依据。
- 库存异动分析：
- 计算库存变动速率（如1小时内库存减少量），标记“热销预警”（骤降50%以上）或“下架风险”（连续7天库存为0）。
3. 促销监控
- 促销活动识别：
- 通过
promotion对象获取活动类型（满减、折扣、赠品）、活动时间、适用范围。 - 关联商品ID与促销ID，生成“商品-促销”关联表。
- 促销效果分析：
- 对比促销期与非促销期的销量、转化率，评估活动ROI。
- 竞品促销对标：抓取同类商品促销信息，生成对标报告。
四、技术优化策略
- 动态调度策略：
- 核心竞品：15分钟/次高频调用。
- 普通竞品：1小时/次常规调用。
- 非重点竞品：4小时/次低频调用。
- 批量请求合并：
- 利用
batch_get接口合并多个商品ID，减少HTTP请求次数，提升效率（实测节省60%网络耗时）。
- 错误处理与重试：
- 针对网络波动、接口超时等问题，设置指数退避重试机制。
- 记录失败请求，定期人工复核。
- 数据安全与合规：
- 遵守《淘宝开放平台服务协议》及《数据安全规范》，不得泄露或转售数据。
- 敏感字段（如买家隐私信息）需申请高级权限。
