在当今信息化的时代，数据的获取与分析变得愈发重要。电影行业作为一个充满活力的领域，吸引了大量观众和投资者。猫眼电影作为中国领先的电影票务平台之一，提供了丰富的电影信息和用户评价，成为了研究电影市场趋势和观众偏好的重要数据源。
通过抓取猫眼电影的Top 100榜单，开发者可以获取到关于热门电影的详细信息，包括电影的排名、评分、标题、主演和上映时间等。这些数据不仅可以帮助影迷了解当前热门影片，还能为电影制片方、市场分析师和投资者提供有价值的市场洞察。
使用Python的DrissionPage库进行网页抓取，能够高效地自动化这一过程。DrissionPage结合了浏览器自动化和数据提取的功能，使得抓取动态网页内容变得更加简单和直观。通过编写脚本，开发者可以定期更新数据，分析电影市场的变化趋势，从而做出更为精准的决策。
总之，采集猫眼电影Top 100榜单的数据，不仅是对网页抓取技术的一次实战应用，更是对电影市场进行深入分析的重要步骤。通过这些数据，用户能够更好地理解观众的偏好和市场动态，为未来的电影制作和营销策略提供数据支持。
data.csv
data.log
# -*- encoding:utf-8 -*-
import logging
from DrissionPage import ChromiumPage
from DataRecorder import Recorder
# 设置日志记录器
logging.basicConfig(
filename='data.log',
encoding='utf-8',
level=logging.DEBUG,
format='%(asctime)s - %(levelname)s - %(message)s'
)
# 创建页面对象
page = ChromiumPage()
# 创建记录器对象
recorder = Recorder('data.csv')
# 访问网页
page.get('https://www.maoyan.com/board/4')
while True:
# 遍历页面上所有 dd 元素
for mov in page.eles('t:dd'):
# 获取所需的信息
num = mov('t:i').text
score = mov('.score').text
title = mov('@data-act=boarditem-click').attr('title')
star = mov('.star').text
time = mov('.releasetime').text
# 写入到记录器
recorder.add_data((num, title, star, time, score))
# 记录中文信息
logging.debug(f'记录电影信息: {num}, {title}, {star}, {time}, {score}')
# 获取下一页按钮，有就点击
btn = page('下一页', timeout=2)
if btn:
btn.click()
page.wait.load_start() # 等待页面加载
else:
break
# 记录数据
recorder.record()
