# 豆瓣短评大数据分析：探索用户观影趋势与情感倾向

### 1. 评论者IP属地分布分析

import pandas as pd
import matplotlib.pyplot as plt

# 加载豆瓣短评数据

# 统计不同IP属地的评论数量
ip_counts = data['评论者IP属地'].value_counts()

# 选择前10个IP属地进行绘制

# 绘制饼图
plt.figure(figsize=(8, 8))
plt.rcParams['font.family'] = 'Arial Unicode MS'
plt.pie(top_10_ip, labels=top_10_ip.index, autopct='%1.1f%%', startangle=140)
plt.title('评论者IP属地分布（前10）')
plt.axis('equal')
plt.show()

import pandas as pd
import matplotlib.pyplot as plt

# 加载CSV文件数据到DataFrame

# 统计不同IP属地的评论数量
ip_counts = data['评论者IP属地'].value_counts()

# 选择前10个IP属地进行绘制，如果数据量大可能需要筛选合适的数据进行可视化

# 绘制饼图
plt.figure(figsize=(8, 8))
plt.rcParams['font.family'] = 'Arial Unicode MS'
plt.pie(top_10_ip, labels=top_10_ip.index, autopct='%1.1f%%', startangle=140)
plt.title('评论者IP属地分布（前10）')
plt.axis('equal')
plt.show()


### 2. 评分分布分析

import csv
from collections import defaultdict

# Mapper函数
def mapper(record):
rating = record[2]  # 假设评分在第三列
return [(rating, 1)]

# Reducer函数
def reducer(ratings):
rating_count = defaultdict(int)
for rating, count in ratings:
rating_count[rating] += count
return rating_count

# 执行Map和Reduce操作
def main():
file_path = '豆瓣短评_35556001_前30页.csv'

with open(file_path, newline='', encoding='utf-8') as csvfile:
mapped = [item for row in reader for item in mapper(row)]

# 执行Reduce操作
result = reducer(mapped)

# 将结果保存为CSV文件
with open('rating_distribution.csv', 'w', newline='', encoding='utf-8') as csvfile:
fieldnames = ['Rating', 'Count']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

for rating, count in result.items():
writer.writerow({'Rating': rating, 'Count': count})

if __name__ == "__main__":
main()


### 3. 评论文本词云可视化

from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 读取文本文件中的数据
file_path = '/Users/shareit/PycharmProjects/movie_ana/move_get/word_freq_top_10.txt'  # 替换为你的文件路径
with open(file_path, 'r', encoding='utf-8') as file:

# 解析数据为关键词和频次的字典
keywords_dict = {}
for line in data.split('\n'):
parts = line.split(': ')
if len(parts) == 2:
keyword, frequency = parts
keywords_dict[keyword] = int(frequency)

# 生成词云
wordcloud = WordCloud(font_path='/System/Library/Fonts/Supplemental/Arial Unicode.ttf', background_color='white').generate_from_frequencies(keywords_dict)

# 显示词云图
plt.figure(figsize=(8, 6))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')  # 隐藏坐标轴
plt.title('Word Cloud')  # 标题
plt.show()


|
9天前
|

Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者，聚焦Spark实用技巧，同时深入核心概念。作者团队来自Databricks，书中详述Spark 3.0新特性，结合机器学习展示大数据分析。Spark是大数据分析的首选工具，本书助你驾驭这一利器。[PDF下载链接][1]。 ![Spark Book Cover][2] [1]: https://zhangfeidezhu.com/?p=345 [2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
24 1
|
6天前
|

​「Python大数据」LDA主题分析模型

11 0
|
11天前
|

37 0
|
19天前
|

Java中的大数据处理与分析架构
Java中的大数据处理与分析架构
21 1
|
19天前
|
SQL 运维 druid

Apache Doris是一款开源的高性能实时分析数据库，设计用于低延迟SQL查询和实时数据处理，适合大规模实时分析场景。与Apache Druid、ClickHouse和Greenplum相比，Doris在易用性和实时性上有优势，但其他产品在特定领域如高吞吐、SQL支持或数据处理有特长。选型要考虑查询性能、实时性、SQL需求和运维成本。Doris适用于实时数据分析、BI报表、数据中台和物联网数据处理。使用时注意资源配置、数据模型设计、监控调优和导入策略。
547 0
|
27天前
|

52 1
|
1月前
|

【6月更文挑战第14天】如何用Python处理大数据分析？
31 4
|
7天前
|

10 0
|
1月前
|
SQL 数据采集 数据可视化

50 2
|
1月前
|

56 1