class DamaiSearchApi:
def init(self, proxy_pool: List[str] = None):
self.base_url = "https://search.damai.cn/search.htm"
self.ua = UserAgent()
self.proxy_pool = proxy_pool # 代理池列表，如["http://ip:port", ...]
self.city_code = self._load_city_code() # 城市代码映射表

def _load_city_code(self) -> Dict[str, str]:
    """加载城市-代码映射表（简化版）"""
    return {
        "全国": "0", "北京": "110", "上海": "310",
        "广州": "4401", "深圳": "4403", "杭州": "3301"
    }

def _get_headers(self) -> Dict[str, str]:
    """生成随机请求头"""
    return {
        "User-Agent": self.ua.random,
        "Referer": "https://www.damai.cn/",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Cookie": "cna=xxx; isg=xxx"  # 替换为实际Cookie（从浏览器获取）
    }

def _get_proxy(self) -> Dict[str, str]:
    """随机获取代理"""
    if self.proxy_pool and len(self.proxy_pool) > 0:
        proxy = random.choice(self.proxy_pool)
        return {"http": proxy, "https": proxy}
    return None

def _parse_item(self, item_soup) -> Dict[str, str]:
    """解析单条演出数据"""
    # 提取演出ID（从链接中）
    link = item_soup.select_one("a.item__link")["href"]
    item_id = re.search(r"id=(\d+)", link).group(1) if link else ""

    # 提取核心字段
    return {
        "item_id": item_id,
        "title": item_soup.select_one(".item__name")?.text.strip() or "",
        "poster": item_soup.select_one(".item__img img")?.get("src") or "",
        "time": item_soup.select_one(".item__time")?.text.strip() or "",
        "venue": item_soup.select_one(".item__venue")?.text.strip() or "",
        "price_range": item_soup.select_one(".item__price")?.text.strip() or "",
        "status": item_soup.select_one(".item__status")?.text.strip() or "",
        "url": f"https://detail.damai.cn{link}" if link.startswith("/") else link
    }

def item_search(self, keyword: str, city: str = "全国", date: str = "0", 
               page_limit: int = 5, timeout: int = 10) -> Dict:
    """
    搜索演出列表
    :param keyword: 搜索关键词（如“周杰伦”）
    :param city: 城市名称（如“上海”，默认“全国”）
    :param date: 时间范围（0-全部，1-近30天，默认0）
    :param page_limit: 最大页数（避免过度爬取，默认5）
    :param timeout: 超时时间
    :return: 结构化的搜索结果
    """
    try:
        # 1. 转换城市为代码
        city_code = self.city_code.get(city, "0")
        # 2. 编码关键词（支持中文）
        encoded_keyword = quote(keyword, encoding="utf-8")

        all_items = []
        current_page = 1

        while current_page <= page_limit:
            # 构建当前页URL
            params = {
                "keyword": encoded_keyword,
                "city": city_code,
                "date": date,
                "page": current_page
            }

            # 发送请求（带随机延迟）
            time.sleep(random.uniform(2, 4))  # 间隔2-4秒，避免反爬
            headers = self._get_headers()
            proxy = self._get_proxy()

            response = requests.get(
                url=self.base_url,
                params=params,
                headers=headers,
                proxies=proxy,
                timeout=timeout
            )
            response.raise_for_status()
            html = response.text

            # 解析页面
            soup = BeautifulSoup(html, "lxml")
            item_list = soup.select("div.items > div.item")

            if not item_list:
                # 无数据，终止分页
                break

            # 提取当前页数据
            for item in item_list:
                parsed_item = self._parse_item(item)
                all_items.append(parsed_item)

            # 检查是否有下一页
            next_page = soup.select_one("a.pagination-next")
            if not next_page:
                break  # 无下一页，终止

            current_page += 1

        return {
            "success": True,
            "total": len(all_items),
            "page_processed": current_page - 1,
            "items": all_items
        }

    except requests.exceptions.HTTPError as e:
        if "403" in str(e):
            return {"success": False, "error_msg": "触发反爬，建议更换代理或Cookie", "code": 403}
        return {"success": False, "error_msg": f"HTTP错误: {str(e)}", "code": response.status_code}
    except Exception as e:
        return {"success": False, "error_msg": f"搜索失败: {str(e)}", "code": -1}

使用示例

if name == "main":

# 代理池（替换为有效代理）
PROXIES = [
    "http://123.45.67.89:8888",
    "http://98.76.54.32:8080"
]

# 初始化API客户端
search_api = DamaiSearchApi(proxy_pool=PROXIES)

# 搜索“上海 近30天 周杰伦”的演出
result = search_api.item_search(
    keyword="周杰伦",
    city="上海",
    date="1",  # 近30天
    page_limit=3  # 最多3页
)

if result["success"]:
    print(f"搜索成功：共找到 {result['total']} 场演出，处理 {result['page_processed']} 页")
    for i, item in enumerate(result["items"][:5]):  # 打印前5条
        print(f"\n演出 {i+1}:")
        print(f"标题：{item['title']}")
        print(f"时间：{item['time']} | 场馆：{item['venue']}")
        print(f"票价：{item['price_range']} | 状态：{item['status']}")
        print(f"详情页：{item['url']}")
else:
    print(f"搜索失败：{result['error_msg']}（错误码：{result['code']}）")
五、关键技术难点与解决方案

动态加载数据解析
问题：部分搜索结果（如滚动加载更多）通过 AJAX 接口动态返回，静态 HTML 中仅包含前几页数据。
解决方案：
抓包分析动态接口，该接口返回 JSON 格式的分页数据，包含演出 ID、标题等核心字段；
解析接口参数（如keyword、city、page），直接请求动态接口替代 HTML 解析，示例接口响应：
json
{
"totalCount": 100,
"pageSize": 20,
"currentPage": 1,
"items": [{"id": "123", "name": "周杰伦演唱会", ...}]
}
反爬机制对抗
问题：搜索接口是高频访问场景，易触发 IP 封锁（403 错误）、验证码或 “访问过于频繁” 提示。
解决方案：
代理 IP 轮换：每 2-3 页切换一次代理，使用高匿代理（避免透明代理被识别）；
请求间隔动态调整：根据响应状态调整间隔（正常响应 3-5 秒，疑似反爬时延长至 8-10 秒）；
Cookie 池维护：通过多个账号获取 Cookie，随机携带（模拟多用户搜索行为）；
验证码自动处理：集成打码平台（如超级鹰）识别简单图形验证码，复杂场景暂停并告警。
分页连续性与完整性
问题：部分搜索结果分页存在 “跳页”（如第 3 页后直接无数据）或重复数据（不同页出现同一场演出）。
解决方案：
基于演出 ID 去重：用集合存储已获取的item_id，过滤重复数据；
分页游标记录：通过 Redis 存储每个关键词 + 城市组合的已爬页数，支持断点续爬；
总页数校验：从页面提取总页数（如 “共 10 页”），若当前页超过总页数则终止。
多条件筛选参数映射
问题：大麦网部分筛选条件（如 “演出类型”“价格区间”）的参数值无明确规则，需动态解析。
解决方案：
预先爬取搜索页的筛选器选项，构建参数映射表；
价格区间参数。
六、最佳实践与合规要点
系统架构设计采用 “分布式搜索采集” 架构，支持高并发与容错：
任务分发层：通过消息队列（如 RabbitMQ）分发搜索任务（关键词 + 城市组合）；
采集层：多节点并行采集，每个节点绑定独立代理池，避免相互影响；
存储层：用 Redis 缓存热门搜索结果（10 分钟过期），MySQL 存储历史数据（用于趋势分析）；
监控层：实时监控代理存活率、请求成功率、反爬触发次数，异常时自动告警。
性能优化策略
异步批量搜索：使用aiohttp并发处理多个关键词（如同时搜索 “周杰伦”“五月天”），控制并发数≤10；
按需解析：仅提取业务所需字段（如列表页无需解析详情页的演出简介）；
热点抑制：对同一关键词 + 城市的搜索请求，1 分钟内仅处理 1 次（返回缓存结果）。
合规性与风险控制
频率限制：单 IP 日搜索请求≤500 次，单关键词日搜索≤100 次，避免对平台造成压力；
数据使用边界：不得将搜索结果用于倒卖票务、恶意抢票等违规行为，不得去除大麦网标识；
法律风险规避：若用于商业产品，建议与大麦网官方沟通获取数据授权，避免侵权纠纷。
反爬适应性调整
定期（每周）检查搜索页结构与动态接口变化，更新解析规则；
当反爬机制升级（如新增 JS 加密参数），快速切换至备用解析方案（如 Selenium 渲染）；
建立反爬特征库（如 403 页面特征、验证码页面特征），自动识别并触发应对策略。
七、总结
大麦网item_search接口的对接核心在于多条件参数处理、动态数据解析与高强度反爬对抗。开发者需重点关注：
搜索参数的正确映射（尤其是城市代码、时间范围）；
动态接口的识别与调用（比静态 HTML 解析更高效）；
代理池与请求频率的精细化控制（避免触发反爬）。
通过本文的技术方案，可构建稳定的演出搜索系统，为票务聚合、行业分析等场景提供可靠数据支持。实际应用中，需根据大麦网的反爬策略动态调整方案，平衡数据获取效率与合规性。