（2024）豆瓣电影详情内容爬虫详解和源码

爬虫目的

获取 https://movie.douban.com/subject/1291560/ 电影详情的所有电影的属性。

爬虫思路

• 第一步，请求详情页面拿到响应
• 第二步, 根据响应 + pyquery 解析dom拿到对应节点文本
• 第三步，处理文本为想要的数据形式。

函数：getMovieInfoByUrl

分析dom

OK，经过分析，我们找到了，使用jquery 获取电影信息dom的方式，但是没什么清晰的规律。所以需要特殊处理

• 第一步：获取电影info的HTML

info_items_doc = doc("#content #info")
info_items_html_content = info_items_doc.html()

• 第二步：根据br 标签划分为多个HTML片段，然后组成新的dom节点，再获取其文本，最后通过正则对文本处理，提取数据。

# 根据<br>标签划分内容
content_list = re.split(r'<br/>', info_items_html_content)
extracted_info = {
   
   }
# 定义正则表达式模式
regex_pattern = re.compile(r'(.*?):\s(.*?)(?:\n|$)')
# 输出划分后的内容
for content in content_list:
    info_item_doc = pq(f'<div>{content}<div>')
    info_item_text = info_item_doc.text()
    match = regex_pattern.match(info_item_text)
    if match:
        extracted_info[match.group(1)] = match.group(2)
print("extracted_info",extracted_info)

输出

extracted_info {'导演': '宫崎骏', '编剧': '宫崎骏', '主演': '日高范子 / 坂本千夏 / 糸井重里 / 岛本须美 / 北林谷荣 / 高木均 / 雨笠利幸 / 丸山裕子 / 广濑正志 / 鹫尾真知子 / 铃木玲子 / 千叶繁 / 龙田直树 / 鳕子 / 西村朋纮 / 石田光子 / 神代知衣 / 中村大树 / 水谷优子 / 平松晶子 / 大谷育江', '类型': '动画 / 奇幻 / 冒险', '制片国家/地区': '日本', '语言': '日语', '上映日期': '2018-12-14(中国大陆) / 1988-04-16(日本)', '片长': '86分钟', '又名': '邻居托托罗 / 邻家的豆豆龙 / 隔壁的特特罗 / Tonari no Totoro / My Neighbor Totoro', 'IMDb': 'tt0096283'}

完整代码

# 豆瓣电影详情也爬数据
# https://movie.douban.com/subject/1291560/
import requests
from pyquery import PyQuery as pq
import re
from pprint import pprint

# 第一步，请求详情页面拿到响应
# 第二步, 根据响应 + pyquery 解析dom拿到对应节点文本
# 第三步，处理文本为想要的数据形式。

def getMovieInfoByUrl(detailUrl):
    movieInfo = {
   
   }
    # 定义请求头
    headers = {
   
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        # 其他需要的请求头...
    }
    # 发送 GET 请求并获取响应内容
    response = requests.get(detailUrl, headers=headers)
    # 确保请求成功
    if response.status_code == 200:
        doc = pq(response.text)
        movieInfo['release_year'] = re.findall(r'\d+', doc("#content h1 .year").text())[0]
        #======处理 info 标签信息
        info_items_doc = doc("#content #info")
        info_items_html_content = info_items_doc.html()
        # 根据<br>标签划分内容
        content_list = re.split(r'<br/>', info_items_html_content)
        extracted_info = {
   
   }
        # 定义正则表达式模式
        regex_pattern = re.compile(r'(.*?):\s(.*?)(?:\n|$)')
        # 输出划分后的内容
        for content in content_list:
            info_item_doc = pq(f'<div>{content}<div>')
            info_item_text = info_item_doc.text()
            match = regex_pattern.match(info_item_text)
            if match:
                extracted_info[match.group(1)] = match.group(2)

        print("extracted_info",extracted_info)
        # 映射中文键到英文键
        key_mapping = {
   
   
            '主演': 'leading_actor',
            '制片国家/地区': 'release_region',
            '导演': 'director',
            '片长': 'duration',
            '类型': 'genre',
        }
        for key,value in extracted_info.items():
            if key in key_mapping:
                movieInfo[key_mapping[key]] = value
        movieInfo['duration'] = int(movieInfo['duration'].split('分钟')[0])
        #======处理 info 标签信息
        pprint(movieInfo)

    else:
        # 我的联系方式：wx: Wusp1994 企鹅号: 812190146
        print(f"请求失败，状态码：{response.status_code}")
    return movieInfo

测试代码

if __name__ == "__main__":
    call_me = "卫星：Wusp1994 企鹅： 812190146"
    movie_url = 'https://movie.douban.com/subject/1291560/'
    getMovieInfoByUrl(movie_url)

输出结果

最后得到电影信息的字典，如果有缺失信息，可以联系我交流。