数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一)

简介: 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一)

(一)问题定义( 明确你要解决的问题或目标。确定你希望从数据中获得什么类型的信息,以及如何将其应用于实际场景。)

①项目选题与背景

       本项目实现抖音用户浏览行为数据分析与挖掘。抖音是一款流行的短视频平台,用户在使用抖音时会产生大量的浏览行为数据,包括用户的观看视频、点赞、评论、分享等行为。本次项通过数据挖掘技术对抖音用户的浏览行为数据进行分析和挖掘,以获得有价值的信息和洞察,并将其应用于实际场景中,如用户个性化推荐、内容优化和广告定向投放等。

②项目意义

       在数据挖掘的背景下,抖音用户浏览行为数据分析与挖掘具有重要的意义,对抖音用户浏览行为进行数据分析与挖掘,可以了解用户的兴趣和偏好,优化用户体验,提高内容的质量和吸引力,同时也可以为广告商提供更准确的定向投放服务,实现数据驱动的运营决策。

③项目需要解决的问题或目标

       A.用户兴趣和喜好分析:通过分析抖音用户的浏览行为数据,了解用户对不同类型内容的偏好和兴趣。这可以帮助平台更好地了解用户需求,优化推荐算法,提供个性化的内容推荐,增加用户留存和活跃度。

       B.内容优化和创新:通过数据挖掘,识别和分析受欢迎的内容类型、创意和趋势。这可以为内容创作者和平台运营者提供指导,优化现有内容,改进内容质量,吸引更多用户参与,并发现新的创意和趋势。

       C.广告定向投放:利用用户浏览行为数据,了解用户的兴趣和偏好,为广告商提供精准的广告定向投放。通过分析用户行为模式,识别潜在的目标用户群体,并根据他们的兴趣和行为特征,将广告推送给最相关的用户,提高广告投放效果和转化率。

       D.运营决策和业务优化:通过数据挖掘和分析,了解用户行为的变化趋势、活跃度和留存率等指标。这可以为抖音平台的运营决策提供依据,优化平台的功能设计、内容策略、资源分配和运营活动等,提升用户体验和平台的竞争力。

       E.用户群体分析:利用用户浏览行为数据,对用户进行群体分析,识别不同用户群体的特征、行为模式和偏好。这可以帮助平台了解用户群体的多样性,为不同用户提供定制化的内容和服务,满足他们的个性化需求。

④从数据中获得什么类型的信息,以及如何将其应用于实际场景

       从抖音用户浏览行为数据中希望获得的类型信息包括用户兴趣和喜好、内容类型和创意趋势、广告定向投放指导、用户行为指标和用户群体特征。这些信息可以应用于实际场景,包括个性化推荐算法的改进、内容创作和运营策略的优化、广告投放的精准定向、平台功能设计的优化和用户体验的提升。

(二)数据收集

       首先,需要获取抖音用户的浏览行为的相关数据集,包括用户的观看记录、点赞记录、评论记录、分享记录等。这可以从数据库中提取数据、采集网络数据、使用API 访问数据源或与合作伙伴合作获得数据,也可以通过与抖音平台合作获得用户数据,使用API访问数据接口或其他合法的数据收集手段来实现。

①熟悉数据,查看数据结构和数据分布情况

数据集说明

字段名 解释 字段名 解释 字段名 解释
uid 用户id user_city 用户城市 item_id 作品id
author_id 作者id item_city 作者城市 channel 作品频道
finish 是否看完 like 是否点赞 music_id 音乐id
duration_time 作品时长 real_time 具体发布时间 H、date 时、天(发布)

数据集下载:抖音用户浏览行为数据集

②导入必要的Python Packages

       首先导入需要的python包,其中包括NumPy、Pandas,导入这些包能够使用相应库和模块的函数、类和方法来处理和分析数据、进行机器学习模型的训练和评估。

③读入数据Read-In Data

       加载并存储"douyin_dataset(1).csv“到一个名为"df"的DataFrame中,使用head()方法显示DataFrame的前几行数据。

④使用info()函数查看数据类型展示及缺失值分析,该数据集共有 1737312 条记录,包含 13 个字段,每个字段的非空值数量均为 1737312。其中,前 10 列是数值型变量(包括整型和浮点型),后两列是字符串型变量。数据集占用的内存大小为 172.3 MB

(三)数据预处理

       在进行数据挖掘之前,我们需要对数据进行预处理和清洗,以确保数据的质量和一致性。

1) 数据去重

       无重复数据

2) 缺失值查看

       无缺失值

3) 变量类型转换

       real_time 和 date 转为时间变量

       id、城市编码转为字符串,并把小数点去掉

(四)特征指标构建——统计分析(分类)

       根据问题的需求和数据的特点,进行特征选择、提取和转换。例如,可以从用户的浏览行为数据中提取特征,如观看时长、点赞数、评论数、分享数等,或者通过文本挖掘技术提取用户的评论内容特征,可以包括对原始特征进行数值化、编码分类变量、创建新特征等操作。

①用户特征统计分析

       站在用户的角度,涉及到浏览量,点赞量,浏览的作品、作者、BGM的总数等

②作者特征统计分析

       站在作者的角度,涉及到总浏览量,总点赞量等

③作品特征统计分析

        站在作品的角度,简单分析

(五)可视化分析

       可视化:可以通过line_chart绘制曲线图,pie_chart绘制饼图,fl_chart绘制折线图。


ps:pyecharts是Python中一个数据可视化库,可以用于生成种类型的图表。 打开命令行窗口,输入以下命令来安装pyecharts:

python pip install pyecharts


绘图函数封装

  • line_chart绘制曲线图
  • pie_chart绘制饼图
  • fl_chart绘制折线图

①用户特征可视化分析

  1. 特征数据统计

  1. 用户浏览情况

绘制浏览量分布曲线:

  • 按照浏览量从大到小将用户排序
  • 依次计算前n个用户的浏览量之和占所有用户浏览量的比例
  • 将人数n和前n人浏览量之和占总体比例绘制为图像

  1. 用户点赞情况
           按照点赞量从大到小排序并求和,绘制曲线

  1. 用户完整观看情况

  1. 用户观看作品的平均完整时长分布

  1. 用户去过的城市数分布

②作者特征可视化分析

  1. 特征数据统计

  1. 作者浏览情况

  1. 作者点赞情况

  1. 作者去过的城市数

③作品特征可视化分析

  1. 特征数据统计

image.png

  1. 作品各日发布情况

  1. 作品浏览量情况

  1. 作品点量率情况

下接:数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(二)



目录
相关文章
|
6月前
|
机器学习/深度学习 运维 算法
从算法菜鸟到挖掘达人:数据挖掘的算法大冒险
从算法菜鸟到挖掘达人:数据挖掘的算法大冒险
191 18
|
5月前
|
机器学习/深度学习 数据采集 算法
数据挖掘:从数据堆里“淘金”,你的数据价值被挖掘了吗?
数据挖掘:从数据堆里“淘金”,你的数据价值被挖掘了吗?
332 12
|
数据挖掘 PyTorch TensorFlow
|
7月前
|
数据采集 传感器 算法
从数据中挖掘洞见:初探数据挖掘的艺术与科学
从数据中挖掘洞见:初探数据挖掘的艺术与科学
166 11
|
10月前
|
SQL 数据挖掘 Serverless
手把手进行数据分析,解锁游戏行为画像
本文介绍了一套利用阿里云E-MapReduce StarRocks版进行游戏玩家画像和行为分析的完整流程,旨在帮助开发者构建高性能、低成本的游戏数据分析平台。
358 11
|
数据采集 数据挖掘 API
Python数据分析加速器:深度挖掘Pandas与NumPy的高级功能
在Python数据分析的世界里,Pandas和NumPy无疑是两颗璀璨的明星,它们为数据科学家和工程师提供了强大而灵活的工具集,用于处理、分析和探索数据。今天,我们将一起深入探索这两个库的高级功能,看看它们如何成为数据分析的加速器。
154 1
|
数据采集 算法 数据挖掘
10余位大佬+10余年经验的结晶:Python数据分析与挖掘实战
LinkedIn 对全球超过3.3亿用户的工作经历和技能进行分析后得出,目前最炙手可热的25 项技能中,数据挖掘排名第一。那么数据挖掘是什么? 数据挖掘是从大量数据(包括文本)中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此“数据挖掘”已成为企业保持竞争力的必要方法。 今天给小伙伴们分享的Python数据分析与数据挖掘手册是10余位数据挖掘领域资深专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。从数据挖掘的应用出发,以电力、
10余位大佬+10余年经验的结晶:Python数据分析与挖掘实战
|
供应链 数据可视化 数据挖掘
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 建模及python代码详解 问题一
本文详细介绍了第十一届泰迪杯数据挖掘挑战赛B题的解决方案,涵盖了对产品订单数据的深入分析、多种因素对需求量影响的探讨,并建立了数学模型进行未来需求量的预测,同时提供了Python代码实现和结果可视化的方法。
411 3
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 建模及python代码详解 问题一
|
数据采集 算法 数据挖掘
10余位大佬+10余年经验的结晶:Python数据分析与挖掘实战
LinkedIn 对全球超过3.3亿用户的工作经历和技能进行分析后得出,目前最炙手可热的25 项技能中,数据挖掘排名第一。那么数据挖掘是什么? 数据挖掘是从大量数据(包括文本)中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此“数据挖掘”已成为企业保持竞争力的必要方法。 今天给小伙伴们分享的Python数据分析与数据挖掘手册是10余位数据挖掘领域资深专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。从数据挖掘的应用出发,以电力、
279 13
|
机器学习/深度学习 数据采集 数据挖掘
【2023年第十一届泰迪杯数据挖掘挑战赛】B题:产品订单的数据分析与需求预测 建模及python代码详解 问题二
本文提供了第十一届泰迪杯数据挖掘挑战赛B题问题二的详细解题步骤,包括时间序列预测模型的建立、多元输入时间预测问题的分析、时间序列预测的建模步骤、改进模型的方法,以及使用Python进行SARIMA模型拟合和预测的具体实现过程。
254 1