(一)问题定义( 明确你要解决的问题或目标。确定你希望从数据中获得什么类型的信息,以及如何将其应用于实际场景。)
①项目选题与背景
本项目实现抖音用户浏览行为数据分析与挖掘。抖音是一款流行的短视频平台,用户在使用抖音时会产生大量的浏览行为数据,包括用户的观看视频、点赞、评论、分享等行为。本次项通过数据挖掘技术对抖音用户的浏览行为数据进行分析和挖掘,以获得有价值的信息和洞察,并将其应用于实际场景中,如用户个性化推荐、内容优化和广告定向投放等。
②项目意义
在数据挖掘的背景下,抖音用户浏览行为数据分析与挖掘具有重要的意义,对抖音用户浏览行为进行数据分析与挖掘,可以了解用户的兴趣和偏好,优化用户体验,提高内容的质量和吸引力,同时也可以为广告商提供更准确的定向投放服务,实现数据驱动的运营决策。
③项目需要解决的问题或目标
A.用户兴趣和喜好分析:通过分析抖音用户的浏览行为数据,了解用户对不同类型内容的偏好和兴趣。这可以帮助平台更好地了解用户需求,优化推荐算法,提供个性化的内容推荐,增加用户留存和活跃度。
B.内容优化和创新:通过数据挖掘,识别和分析受欢迎的内容类型、创意和趋势。这可以为内容创作者和平台运营者提供指导,优化现有内容,改进内容质量,吸引更多用户参与,并发现新的创意和趋势。
C.广告定向投放:利用用户浏览行为数据,了解用户的兴趣和偏好,为广告商提供精准的广告定向投放。通过分析用户行为模式,识别潜在的目标用户群体,并根据他们的兴趣和行为特征,将广告推送给最相关的用户,提高广告投放效果和转化率。
D.运营决策和业务优化:通过数据挖掘和分析,了解用户行为的变化趋势、活跃度和留存率等指标。这可以为抖音平台的运营决策提供依据,优化平台的功能设计、内容策略、资源分配和运营活动等,提升用户体验和平台的竞争力。
E.用户群体分析:利用用户浏览行为数据,对用户进行群体分析,识别不同用户群体的特征、行为模式和偏好。这可以帮助平台了解用户群体的多样性,为不同用户提供定制化的内容和服务,满足他们的个性化需求。
④从数据中获得什么类型的信息,以及如何将其应用于实际场景
从抖音用户浏览行为数据中希望获得的类型信息包括用户兴趣和喜好、内容类型和创意趋势、广告定向投放指导、用户行为指标和用户群体特征。这些信息可以应用于实际场景,包括个性化推荐算法的改进、内容创作和运营策略的优化、广告投放的精准定向、平台功能设计的优化和用户体验的提升。
(二)数据收集
首先,需要获取抖音用户的浏览行为的相关数据集,包括用户的观看记录、点赞记录、评论记录、分享记录等。这可以从数据库中提取数据、采集网络数据、使用API 访问数据源或与合作伙伴合作获得数据,也可以通过与抖音平台合作获得用户数据,使用API访问数据接口或其他合法的数据收集手段来实现。
①熟悉数据,查看数据结构和数据分布情况
数据集说明
字段名 | 解释 | 字段名 | 解释 | 字段名 | 解释 |
uid | 用户id | user_city | 用户城市 | item_id | 作品id |
author_id | 作者id | item_city | 作者城市 | channel | 作品频道 |
finish | 是否看完 | like | 是否点赞 | music_id | 音乐id |
duration_time | 作品时长 | real_time | 具体发布时间 | H、date | 时、天(发布) |
数据集下载:抖音用户浏览行为数据集
②导入必要的Python Packages
首先导入需要的python包,其中包括NumPy、Pandas,导入这些包能够使用相应库和模块的函数、类和方法来处理和分析数据、进行机器学习模型的训练和评估。
③读入数据Read-In Data
加载并存储"douyin_dataset(1).csv“到一个名为"df"的DataFrame中,使用head()方法显示DataFrame的前几行数据。
④使用info()函数查看数据类型展示及缺失值分析,该数据集共有 1737312 条记录,包含 13 个字段,每个字段的非空值数量均为 1737312。其中,前 10 列是数值型变量(包括整型和浮点型),后两列是字符串型变量。数据集占用的内存大小为 172.3 MB
(三)数据预处理
在进行数据挖掘之前,我们需要对数据进行预处理和清洗,以确保数据的质量和一致性。
1) 数据去重
无重复数据
2) 缺失值查看
无缺失值
3) 变量类型转换
real_time 和 date 转为时间变量
id、城市编码转为字符串,并把小数点去掉
(四)特征指标构建——统计分析(分类)
根据问题的需求和数据的特点,进行特征选择、提取和转换。例如,可以从用户的浏览行为数据中提取特征,如观看时长、点赞数、评论数、分享数等,或者通过文本挖掘技术提取用户的评论内容特征,可以包括对原始特征进行数值化、编码分类变量、创建新特征等操作。
①用户特征统计分析
站在用户的角度,涉及到浏览量,点赞量,浏览的作品、作者、BGM的总数等
②作者特征统计分析
站在作者的角度,涉及到总浏览量,总点赞量等
③作品特征统计分析
站在作品的角度,简单分析
(五)可视化分析
可视化:可以通过line_chart绘制曲线图,pie_chart绘制饼图,fl_chart绘制折线图。
ps:pyecharts是Python中一个数据可视化库,可以用于生成种类型的图表。 打开命令行窗口,输入以下命令来安装pyecharts:
python pip install pyecharts
绘图函数封装
- line_chart绘制曲线图
- pie_chart绘制饼图
- fl_chart绘制折线图
①用户特征可视化分析
- 特征数据统计
- 用户浏览情况
绘制浏览量分布曲线:
- 按照浏览量从大到小将用户排序
- 依次计算前n个用户的浏览量之和占所有用户浏览量的比例
- 将人数n和前n人浏览量之和占总体比例绘制为图像
- 用户点赞情况
按照点赞量从大到小排序并求和,绘制曲线
- 用户完整观看情况
- 用户观看作品的平均完整时长分布
- 用户去过的城市数分布
②作者特征可视化分析
- 特征数据统计
- 作者浏览情况
- 作者点赞情况
- 作者去过的城市数
③作品特征可视化分析
- 特征数据统计
- 作品各日发布情况
- 作品浏览量情况
- 作品点量率情况
下接:数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(二)