R语言电影数据分析:随机森林探索电影受欢迎程度因素、参数调优可视化

简介: R语言电影数据分析:随机森林探索电影受欢迎程度因素、参数调优可视化

是什么让一个电影受欢迎?也许是影片的总收入(影院条目和DVD sellings)。我们选择的变量将是票房(gross) 或观众评分(movie_facebook_likes)点击文末“阅读原文”获取完整代码数据

相关视频

image.png

众所周知,关于IMDB和番茄的好评与高收益的电影有关。我们的分析旨在回答以下研究问题:“我们能在仅知道它的类型,流派(流派变量),MPAA评级(MPAA_RATING变量),发布一个月(thtr_rel_month变量),发布日(thtr_rel_day变量),IMDB的票数(imdb_num_votes变量),评论家得分(critics_score变量)和最佳影片提名(best_pic_nom变量)等变量能否预测一部电影收入?

这篇文章帮助客户通过一些变量来预测电影的收入。文章提供了一个数据集查看文末了解数据免费获取方式,该数据集包括了1970年到2014年之间发布的美国电影的信息,使用随机抽样设计方法抽取。文章选择使用票房(gross)或观众评分(movie_facebook_likes)作为响应变量来研究,最终选择观众评分作为响应变量。

在探索数据分析部分,文章使用了直方图和盒状图的方法来了解分类变量和响应变量之间的关联性,以及数值变量和响应变量之间的交互作用。文章还使用了随机森林算法建立模型,并通过调整参数来寻找最优模型。最终,文章发现IMDB票数、评论家得分和最佳影片提名等变量对于预测电影收入非常重要。

数据

抽样设计

该数据集的目标人群是从1970年和2014年,著名的互联网数据库IMDB随机抽取的电影数据 。

推理范围

“电影”的数据集,应考虑使用一个随机抽样设计,选择美国电影有代表性的样本观察性的回顾性研究,我们的结果应该推广到1970年和2014年间发布的所有美国电影。

data=read.csv("movie_metadata.csv")

827ca638e65f90d67233f6172b066a4f.png

e1305a2000005dfe47e979187bf3b93f.png

探索数据分析

响应变量的分布。首先,我们将检查两个潜在的响应变量之间有高度相关性:票房和观众的分数。

cor(movies$gross, movies$movie_facebook_likes)

9a06db1562cfb19724444c178c4c8201.png

由于这两个变量之间的相关性相当高。在我们的研究中,我们将选择movie_facebook_likes作为响应变量。

让我们先来绘制响应变量的直方图。

ot(movies2, aes(x = movie_facebook_likes)) + geom_histogram() + xlab("Audience Score") + ylab("Coun


b31543eec9d2dd1840992f531c82da15.png

分布分数变量左侧偏斜,可能是单向或双峰。


点击标题查阅往期内容


Python信贷风控模型:Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付

3c0177c8b10051a268352277095198a7.png

summary(movies2$movie_facebook_likes)

b75b0886ac22b5ceb7885f0d589745e1.png

盒状图

现在,开始探索性数据分析,首先,我们将使用箱图来可视化我们感兴趣的分类变量与响应变量。

likes)) + geom_boxplot() + xlab("title_type") + ylab("movie_f

436d0c2b59816b5edc3d994906849daa.png

country和观众得分关联。

ikes)) + geom_boxplot() + xlab("content_

2a6f7d48da35b5bb0aea8f2f46b4fdb0.png

变量MPAA评级和观众得分关联不是那么明显。content_rating评级可能不适合预测。

响应变量与数值变量的散点图

现在,我们将用散点图可视化我们感兴趣的数值变量如何与我们的响应变量相互作用。

687a68ac3eeba4cb8ffdd669124c1f42.png

正如我们可以看到上面,预测变量之间的相关性不是很高,因为它有助于避免多重共线性。

随机森林建模

随机森林是一种常用的机器学习算法,用于建立预测模型。它基于多个决策树的集成,通过对每个决策树的预测结果进行综合,得出最终的预测结果。下面将介绍随机森林建模过程以及参数调优的方法。

在随机森林建模之前,我们需要先对数据进行预处理和特征选择。在这个示例中,我们以"gross-budget"作为因变量,其余列作为自变量进行建模。下面是建模代码:

randomForest( gross-budget~.-director_nam

上述代码中,"gross-budget~.-director_name"表示以"director_name"列为排除变量,其他列作为自变量进行建模。接下来,我们通过调用"randomForest"函数进行建模,其中"data"是输入的数据。

随机森林建模过程中,我们可以通过参数调优来提升模型性能。

4c73ad1481914d70fee18ec57290b4ce.png 24ef2cec8e99247881eb80a714bf48c2.png

这个结果是随机森林模型对于每个变量的重要性排序。可以看到,num_voted_users(投票用户数)是最重要的变量,其次是num_critic_for_reviews(评论家评价数量)和num_user_for_reviews(普通用户评价数量),这些变量可能与电影的知名度和受欢迎程度有关。其他变量的重要性较低,例如color(颜色)、director_facebook_likes(导演的Facebook赞数)和title_year(发行年份)等。aspect_ratio(宽高比)的重要性为负数,说明这个变量对于模型预测结果的贡献是负面的。

需要注意的是,这里给出的变量重要性仅仅是针对随机森林模型而言,并不能保证在其他的机器学习算法或统计学方法中也是同样的重要性排序。此外,变量重要性也不一定意味着因果关系,只是表明这些变量对于模型预测结果的贡献比较大。

参数调优

参数调优是指通过尝试不同的参数组合,找到最优的参数配置,以提高模型的准确性。在随机森林建模中,可以调整的参数包括ntree(决策树的数量)、mtry(每个决策树的特征选择数量)和nodesize(每个叶节点的最小观测数)等。

下面是参数调优的代码示例:

tueRF(data[1:10,-which(colnaata) %in% c("director_name","actor_2_name","genres","actor_

上述代码中,我们使用"tuneRF"函数来进行参数调优,其中"data[1:10,-which(colnames(data)) %in% c("director_name","actor_2_name","genres","actor")]"表示选择除了"director_name"、"actor_2_name"、"genres"和"actor"列之外的其他列作为自变量。ntreeTry表示尝试的决策树数量,stepFactor表示步进因子。

通过参数调优,我们可以得到最优的参数配置。

ffb085a140f04cf14d346180a5797ef8.png

082991a8235367a78deae97a8a4715ad.png

e4642a35edaf52cf96fcaaf5b49c5d09.png

用最优参数建模

在得到最优的参数配置后,我们可以使用这些参数进行建模。下面是使用最优参数建模的代码示例:

randomForest( gross-budget, ntree=1000, mtry=6, nodesize=5,

ff7f4ea6d6239ecd5d51f87842644e00.png


上述代码中,我们使用"randomForest"函数进行建模,其中"ntree=1000"表示决策树的数量,"mtry=6"表示每个决策树的特征选择数量,"nodesize=5"表示每个叶节点的最小观测数。

通过建立模型并获得结果,我们可以评估模型的性能和预测效果。

从结果来看,残差是独立的,误差在可接受范围内。

收入作为因变量

f <- randomForest( gross ~.-direc

变量重要性

8963fcfae53c71fbf120b02955aaedb7.png

ImpPlot(rf,t

8ee508ce83a8cc0ccc32b4a7401a2be3.png

发现最优参数

stmtry <- tuneRF(data[1:10,-whi

18439a539cae0f1cd50d55b4a71bcf44.png

94d49000438a476b7a5526ec18b2c656.png


最优参数建模

orest( groslangu1000, mtry=6, nodesize=5, importance=T)

4bb92d93e23992f62dc2547d7849ae29.png

相关文章
|
1月前
|
数据采集 数据可视化 数据挖掘
基于Python的数据分析与可视化实战
本文将引导读者通过Python进行数据分析和可视化,从基础的数据操作到高级的数据可视化技巧。我们将使用Pandas库处理数据,并利用Matplotlib和Seaborn库创建直观的图表。文章不仅提供代码示例,还将解释每个步骤的重要性和目的,帮助读者理解背后的逻辑。无论你是初学者还是有一定基础的开发者,这篇文章都将为你提供有价值的见解和技能。
109 0
|
2月前
|
数据采集 机器学习/深度学习 数据可视化
R语言从数据到决策:R语言在商业分析中的实践
【9月更文挑战第1天】R语言在商业分析中的应用广泛而深入,从数据收集、预处理、分析到预测模型构建和决策支持,R语言都提供了强大的工具和功能。通过学习和掌握R语言在商业分析中的实践应用,我们可以更好地利用数据驱动企业决策,提升企业的竞争力和盈利能力。未来,随着大数据和人工智能技术的不断发展,R语言在商业分析领域的应用将更加广泛和深入,为企业带来更多的机遇和挑战。
|
24天前
|
数据挖掘 C语言 C++
R语言是一种强大的统计分析工具,提供了丰富的函数和包用于时间序列分析。
【10月更文挑战第21天】时间序列分析是一种重要的数据分析方法,广泛应用于经济学、金融学、气象学、生态学等领域。R语言是一种强大的统计分析工具,提供了丰富的函数和包用于时间序列分析。本文将介绍使用R语言进行时间序列分析的基本概念、方法和实例,帮助读者掌握R语言在时间序列分析中的应用。
41 3
|
12天前
|
数据采集 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第33天】本文将介绍如何使用Python编程语言进行数据分析和可视化。我们将从数据清洗开始,然后进行数据探索性分析,最后使用matplotlib和seaborn库进行数据可视化。通过阅读本文,你将学会如何运用Python进行数据处理和可视化展示。
|
1月前
|
数据采集 数据可视化 数据挖掘
使用Python进行数据处理与可视化——以气温数据分析为例
【10月更文挑战第12天】使用Python进行数据处理与可视化——以气温数据分析为例
190 0
|
1月前
|
数据采集 数据可视化 数据挖掘
Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
【10月更文挑战第3天】Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
91 0
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
如何理解数据分析及数据的预处理,分析建模,可视化
如何理解数据分析及数据的预处理,分析建模,可视化
49 0
|
2月前
|
机器学习/深度学习 存储 数据可视化
数据分析和可视化
数据分析和可视化
|
2月前
|
数据采集 传感器 数据可视化
利用Python进行数据分析与可视化
【9月更文挑战第11天】在数字化时代,数据已成为企业决策和科学研究的关键。本文将引导读者了解如何使用Python这一强大的工具进行数据分析和可视化,帮助初学者理解数据处理的流程,并掌握基本的可视化技术。通过实际案例,我们将展示如何从原始数据中提取信息,进行清洗、处理,最终以图形方式展现结果,使复杂的数据变得直观易懂。
|
6月前
|
数据可视化 数据挖掘 API
【R语言实战】聚类分析及可视化
【R语言实战】聚类分析及可视化

热门文章

最新文章