爬取豆瓣电影top250并简单分析

简介: 代码:import requestsfrom bs4 import BeautifulSoupimport pymongoimport reclient = pymongo.

代码:

import requests
from bs4 import BeautifulSoup
import pymongo
import re

client = pymongo.MongoClient('localhost', 27017)
douban = client['douban']
top250 = douban['top250']

urls = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]

def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    names = soup.select('div.hd > a')
    times = re.findall('<br>(.*?)&nbsp',wb_data.text,re.S)
    places = re.findall(' / (.*?) / ',wb_data.text)
    levels = soup.select('span.rating_num')
    quotes = soup.select('span.inq')
    for name,time,place,level,quote in zip(names,times,places,levels,quotes):
        info = {
            'name': name.get_text().split('/')[0].split('\n')[1],
            'time': time.split('\n')[1].replace(' ',''),
            'place': place,
            'level': level.get_text(),
            'quote': quote.get_text()
        }
        top250.insert_one(info)

for url in urls:
    get_info(url)

实际爬取243条电影,出了一点小问题,建议大家爬取信息进入网站里面去爬会保险点,我这里懒得再重写了。然后导出excel表格,进行分析

简单分析

img_c3c6d3831a78fc0a6de09e296ba27b0f.jpe

1.电影拿走不谢,请叫我雷锋
2.美国,日本,中国上榜电影拍前三
3.主要的电影内容:信仰,青春,科幻,情怀等
4.电影数最多的几年为1995~2013,近几年电影较少,原因大概为:虽然制片投入和电影效果越来越好,但内容却没以前那么好了。

相关文章
|
8月前
|
数据采集 JSON JavaScript
Python爬虫案例:抓取猫眼电影排行榜
python爬取猫眼电影排行榜数据分析,实战。(正则表达式,xpath,beautifulsoup)【2月更文挑战第11天】
334 2
Python爬虫案例:抓取猫眼电影排行榜
|
3月前
|
数据采集 开发者
爬虫案例—抓取豆瓣电影的电影名称、评分、简介、评价人数
爬虫案例—抓取豆瓣电影的电影名称、评分、简介、评价人数
161 0
|
4月前
|
数据采集
豆瓣图书TOP250爬取
豆瓣图书TOP250爬取
96 0
|
7月前
|
数据采集 存储 JavaScript
(2024)豆瓣电影TOP250爬虫详细讲解和代码
这是一个关于如何用Python爬取2024年豆瓣电影Top250的详细教程。教程涵盖了生成分页URL列表和解析页面以获取电影信息的函数。`getAllPageUrl()` 生成前10页的链接,而`getMoiveListByUrl()` 使用PyQuery解析HTML,提取电影标题、封面、评价数和评分。代码示例展示了测试这些函数的方法,输出包括电影详情的字典列表。
387 3
|
7月前
|
存储 数据可视化
豆瓣电影Top250的可视化分析
本文旨在实现豆瓣电影TOP250的可视化,通过确定柱状图、折线图和饼图等图表设计,展示评价人数最多、年份分布及类型占比。模拟数据用于演示,例如评价最多的电影、年份最多的电影数量及每年高分电影趋势。完整代码可下载,包含ECharts实现的四种图表。
389 0
豆瓣电影Top250的可视化分析
|
7月前
|
数据采集 存储 JSON
豆瓣电影信息爬虫实战-2024年6月
使用Python和`requests`、`PyQuery`库,本文教程教你如何编写一个豆瓣电影列表页面的爬虫,抓取电影标题、导演、主演等信息。首先确保安装所需库,然后了解技术栈,包括Python、Requests、PyQuery和正则表达式。爬虫逻辑包括发送HTTP请求、解析HTML、提取数据。代码示例展示了如何实现这一过程,最后运行爬虫并将结果保存为JSON文件。注意遵守网站使用条款和应对反爬策略。
268 2
|
8月前
爬取电影数据
爬取电影数据
70 0
|
数据采集 XML 存储
构建一个简单的电影信息爬虫项目:使用Scrapy从豆瓣电影网站爬取数据
这个案例展示了如何使用 Scrapy 框架构建一个简单的爬虫项目,从网页中提取数据并保存到文件中。通过配置、编写爬虫代码、定义数据模型和数据处理管道,你可以灵活地构建各种爬虫应用。
336 0
构建一个简单的电影信息爬虫项目:使用Scrapy从豆瓣电影网站爬取数据
|
存储 数据采集
爬虫实例——爬取豆瓣网 top250 电影的信息
本节通过一个具体的实例来看下编写爬虫的具体过程。以爬取豆瓣网 top250 电影的信息为例,top250 电影的网址为:https://movie.douban.com/top250。在浏览器的地址栏里输入 https://movie.douban.com/top250,我们会看到如下内容:
264 0
|
数据采集 Java Python
Python爬虫之多线程下载豆瓣Top250电影图片
爬虫项目介绍   本次爬虫项目将爬取豆瓣Top250电影的图片,其网址为:https://movie.douban.com/top250, 具体页面如下图所示:   本次爬虫项目将分别不使用多线程和使用多线程来完成,通过两者的对比,显示出多线程在爬虫项目中的巨大优势。
2470 0