DrissionPage实战之采集猫眼电影top100榜

​
在当今信息化的时代，数据的获取与分析变得愈发重要。电影行业作为一个充满活力的领域，吸引了大量观众和投资者。猫眼电影作为中国领先的电影票务平台之一，提供了丰富的电影信息和用户评价，成为了研究电影市场趋势和观众偏好的重要数据源。

            通过抓取猫眼电影的Top 100榜单，开发者可以获取到关于热门电影的详细信息，包括电影的排名、评分、标题、主演和上映时间等。这些数据不仅可以帮助影迷了解当前热门影片，还能为电影制片方、市场分析师和投资者提供有价值的市场洞察。

    使用Python的DrissionPage库进行网页抓取，能够高效地自动化这一过程。DrissionPage结合了浏览器自动化和数据提取的功能，使得抓取动态网页内容变得更加简单和直观。通过编写脚本，开发者可以定期更新数据，分析电影市场的变化趋势，从而做出更为精准的决策。

    总之，采集猫眼电影Top 100榜单的数据，不仅是对网页抓取技术的一次实战应用，更是对电影市场进行深入分析的重要步骤。通过这些数据，用户能够更好地理解观众的偏好和市场动态，为未来的电影制作和营销策略提供数据支持。

data.csv

data.log

# -*- encoding:utf-8 -*-
import logging
from DrissionPage import ChromiumPage
from DataRecorder import Recorder

# 设置日志记录器
logging.basicConfig(
    filename='data.log',
    encoding='utf-8',
    level=logging.DEBUG,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

# 创建页面对象
page = ChromiumPage()
# 创建记录器对象
recorder = Recorder('data.csv')

# 访问网页
page.get('https://www.maoyan.com/board/4')

while True:
    # 遍历页面上所有 dd 元素
    for mov in page.eles('t:dd'):
        # 获取所需的信息
        num = mov('t:i').text
        score = mov('.score').text
        title = mov('@data-act=boarditem-click').attr('title')
        star = mov('.star').text
        time = mov('.releasetime').text

        # 写入到记录器
        recorder.add_data((num, title, star, time, score))

        # 记录中文信息
        logging.debug(f'记录电影信息: {num}, {title}, {star}, {time}, {score}')

    # 获取下一页按钮，有就点击
    btn = page('下一页', timeout=2)
    if btn:
        btn.click()
        page.wait.load_start()  # 等待页面加载
    else:
        break

# 记录数据
recorder.record()


​