爬取豆瓣电影top250并简单分析

简介: 代码:import requestsfrom bs4 import BeautifulSoupimport pymongoimport reclient = pymongo.

代码:

import requests
from bs4 import BeautifulSoup
import pymongo
import re

client = pymongo.MongoClient('localhost', 27017)
douban = client['douban']
top250 = douban['top250']

urls = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]

def get_info(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    names = soup.select('div.hd > a')
    times = re.findall('<br>(.*?)&nbsp',wb_data.text,re.S)
    places = re.findall(' / (.*?) / ',wb_data.text)
    levels = soup.select('span.rating_num')
    quotes = soup.select('span.inq')
    for name,time,place,level,quote in zip(names,times,places,levels,quotes):
        info = {
            'name': name.get_text().split('/')[0].split('\n')[1],
            'time': time.split('\n')[1].replace(' ',''),
            'place': place,
            'level': level.get_text(),
            'quote': quote.get_text()
        }
        top250.insert_one(info)

for url in urls:
    get_info(url)

实际爬取243条电影,出了一点小问题,建议大家爬取信息进入网站里面去爬会保险点,我这里懒得再重写了。然后导出excel表格,进行分析

简单分析

img_c3c6d3831a78fc0a6de09e296ba27b0f.jpe

1.电影拿走不谢,请叫我雷锋
2.美国,日本,中国上榜电影拍前三
3.主要的电影内容:信仰,青春,科幻,情怀等
4.电影数最多的几年为1995~2013,近几年电影较少,原因大概为:虽然制片投入和电影效果越来越好,但内容却没以前那么好了。

相关文章
|
自然语言处理 算法 数据挖掘
基于python豆瓣电影评论的情感分析和聚类分析,聚类分析有手肘法进行检验,情感分析用snownlp
本文介绍了一个基于Python的情感分析和聚类分析项目,使用snownlp库对豆瓣电影评论进行情感分析,并采用手肘法辅助K-means算法进行聚类分析,以探索评论中的不同主题和情感集群。
355 5
基于python豆瓣电影评论的情感分析和聚类分析,聚类分析有手肘法进行检验,情感分析用snownlp
|
11月前
|
前端开发 安全 JavaScript
在阿里云快速启动Appsmith搭建前端页面
本文介绍了Appsmith的基本信息,并通过阿里云计算巢完成了Appsmith的快速部署,使用者不需要自己下载代码,不需要自己安装复杂的依赖,不需要了解底层技术,只需要在控制台图形界面点击几下鼠标就可以快速部署并启动Appsmith,非技术同学也能轻松搞定。
|
12月前
|
数据采集 开发者
爬虫案例—抓取豆瓣电影的电影名称、评分、简介、评价人数
爬虫案例—抓取豆瓣电影的电影名称、评分、简介、评价人数
405 0
|
数据采集 存储 JavaScript
(2024)豆瓣电影详情内容爬虫详解和源码
这是一个Python爬虫程序,用于抓取豆瓣电影详情页面如`https://movie.douban.com/subject/1291560/`的数据。它首先发送GET请求,使用PyQuery解析DOM,然后根据`&lt;br&gt;`标签分割HTML内容,提取电影信息如导演、演员、类型等,并将中文键转换为英文键存储在字典中。完整代码包括请求、解析、数据处理和测试部分。当运行时,会打印出电影详情,如导演、演员列表、类型、时长等。
355 1
 (2024)豆瓣电影详情内容爬虫详解和源码
|
数据采集 自然语言处理 数据可视化
优秀python系统案例】基于python Flask的电影票房数据爬取与可视化系统的设计与实现
本文介绍了一个基于Python Flask框架开发的电影票房数据爬取与可视化系统,该系统利用网络爬虫技术从豆瓣电影网站抓取数据,通过Python进行数据处理和分析,并采用ECharts等库实现数据的可视化展示,为电影行业从业者提供决策支持。
941 2
优秀python系统案例】基于python Flask的电影票房数据爬取与可视化系统的设计与实现
|
机器学习/深度学习 算法 数据可视化
基于Python flask的豆瓣电影数据分析可视化系统,功能多,LSTM算法+注意力机制实现情感分析,准确率高达85%
本文介绍了一个基于Python Flask框架的豆瓣电影数据分析可视化系统,该系统集成了LSTM算法和注意力机制进行情感分析,准确率高达85%,提供了多样化的数据分析和情感识别功能,旨在帮助用户深入理解电影市场和观众喜好。
466 0
|
存储 数据可视化
豆瓣电影Top250的可视化分析
本文旨在实现豆瓣电影TOP250的可视化,通过确定柱状图、折线图和饼图等图表设计,展示评价人数最多、年份分布及类型占比。模拟数据用于演示,例如评价最多的电影、年份最多的电影数量及每年高分电影趋势。完整代码可下载,包含ECharts实现的四种图表。
819 0
豆瓣电影Top250的可视化分析
|
数据采集 存储 数据处理
使用Python爬取豆瓣电影影评:从数据收集到情感分析
本文演示如何使用Python爬虫获取豆瓣电影《肖申克的救赎》的影评数据并进行情感分析。首先,安装requests、BeautifulSoup、pandas和TextBlob库。接着,编写爬虫抓取评论的用户名、评分和内容,存储为DataFrame。然后,利用TextBlob进行情感分析,得到情感分数。此方法有助于分析用户对电影的反馈。
|
数据采集 存储 JavaScript
(2024)豆瓣电影TOP250爬虫详细讲解和代码
这是一个关于如何用Python爬取2024年豆瓣电影Top250的详细教程。教程涵盖了生成分页URL列表和解析页面以获取电影信息的函数。`getAllPageUrl()` 生成前10页的链接,而`getMoiveListByUrl()` 使用PyQuery解析HTML,提取电影标题、封面、评价数和评分。代码示例展示了测试这些函数的方法,输出包括电影详情的字典列表。
949 3
|
机器学习/深度学习 安全 搜索推荐
计算机毕设题目设计与实现(论文+源码)_kaic
计算机毕设题目设计与实现(论文+源码)_kaic