数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一)

简介: 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一)

(一)问题定义( 明确你要解决的问题或目标。确定你希望从数据中获得什么类型的信息,以及如何将其应用于实际场景。)

①项目选题与背景

       本项目实现抖音用户浏览行为数据分析与挖掘。抖音是一款流行的短视频平台,用户在使用抖音时会产生大量的浏览行为数据,包括用户的观看视频、点赞、评论、分享等行为。本次项通过数据挖掘技术对抖音用户的浏览行为数据进行分析和挖掘,以获得有价值的信息和洞察,并将其应用于实际场景中,如用户个性化推荐、内容优化和广告定向投放等。

②项目意义

       在数据挖掘的背景下,抖音用户浏览行为数据分析与挖掘具有重要的意义,对抖音用户浏览行为进行数据分析与挖掘,可以了解用户的兴趣和偏好,优化用户体验,提高内容的质量和吸引力,同时也可以为广告商提供更准确的定向投放服务,实现数据驱动的运营决策。

③项目需要解决的问题或目标

       A.用户兴趣和喜好分析:通过分析抖音用户的浏览行为数据,了解用户对不同类型内容的偏好和兴趣。这可以帮助平台更好地了解用户需求,优化推荐算法,提供个性化的内容推荐,增加用户留存和活跃度。

       B.内容优化和创新:通过数据挖掘,识别和分析受欢迎的内容类型、创意和趋势。这可以为内容创作者和平台运营者提供指导,优化现有内容,改进内容质量,吸引更多用户参与,并发现新的创意和趋势。

       C.广告定向投放:利用用户浏览行为数据,了解用户的兴趣和偏好,为广告商提供精准的广告定向投放。通过分析用户行为模式,识别潜在的目标用户群体,并根据他们的兴趣和行为特征,将广告推送给最相关的用户,提高广告投放效果和转化率。

       D.运营决策和业务优化:通过数据挖掘和分析,了解用户行为的变化趋势、活跃度和留存率等指标。这可以为抖音平台的运营决策提供依据,优化平台的功能设计、内容策略、资源分配和运营活动等,提升用户体验和平台的竞争力。

       E.用户群体分析:利用用户浏览行为数据,对用户进行群体分析,识别不同用户群体的特征、行为模式和偏好。这可以帮助平台了解用户群体的多样性,为不同用户提供定制化的内容和服务,满足他们的个性化需求。

④从数据中获得什么类型的信息,以及如何将其应用于实际场景

       从抖音用户浏览行为数据中希望获得的类型信息包括用户兴趣和喜好、内容类型和创意趋势、广告定向投放指导、用户行为指标和用户群体特征。这些信息可以应用于实际场景,包括个性化推荐算法的改进、内容创作和运营策略的优化、广告投放的精准定向、平台功能设计的优化和用户体验的提升。

(二)数据收集

       首先,需要获取抖音用户的浏览行为的相关数据集,包括用户的观看记录、点赞记录、评论记录、分享记录等。这可以从数据库中提取数据、采集网络数据、使用API 访问数据源或与合作伙伴合作获得数据,也可以通过与抖音平台合作获得用户数据,使用API访问数据接口或其他合法的数据收集手段来实现。

①熟悉数据,查看数据结构和数据分布情况

数据集说明

字段名 解释 字段名 解释 字段名 解释
uid 用户id user_city 用户城市 item_id 作品id
author_id 作者id item_city 作者城市 channel 作品频道
finish 是否看完 like 是否点赞 music_id 音乐id
duration_time 作品时长 real_time 具体发布时间 H、date 时、天(发布)

数据集下载:抖音用户浏览行为数据集

②导入必要的Python Packages

       首先导入需要的python包,其中包括NumPy、Pandas,导入这些包能够使用相应库和模块的函数、类和方法来处理和分析数据、进行机器学习模型的训练和评估。

③读入数据Read-In Data

       加载并存储"douyin_dataset(1).csv“到一个名为"df"的DataFrame中,使用head()方法显示DataFrame的前几行数据。

④使用info()函数查看数据类型展示及缺失值分析,该数据集共有 1737312 条记录,包含 13 个字段,每个字段的非空值数量均为 1737312。其中,前 10 列是数值型变量(包括整型和浮点型),后两列是字符串型变量。数据集占用的内存大小为 172.3 MB

(三)数据预处理

       在进行数据挖掘之前,我们需要对数据进行预处理和清洗,以确保数据的质量和一致性。

1) 数据去重

       无重复数据

2) 缺失值查看

       无缺失值

3) 变量类型转换

       real_time 和 date 转为时间变量

       id、城市编码转为字符串,并把小数点去掉

(四)特征指标构建——统计分析(分类)

       根据问题的需求和数据的特点,进行特征选择、提取和转换。例如,可以从用户的浏览行为数据中提取特征,如观看时长、点赞数、评论数、分享数等,或者通过文本挖掘技术提取用户的评论内容特征,可以包括对原始特征进行数值化、编码分类变量、创建新特征等操作。

①用户特征统计分析

       站在用户的角度,涉及到浏览量,点赞量,浏览的作品、作者、BGM的总数等

②作者特征统计分析

       站在作者的角度,涉及到总浏览量,总点赞量等

③作品特征统计分析

        站在作品的角度,简单分析

(五)可视化分析

       可视化:可以通过line_chart绘制曲线图,pie_chart绘制饼图,fl_chart绘制折线图。


ps:pyecharts是Python中一个数据可视化库,可以用于生成种类型的图表。 打开命令行窗口,输入以下命令来安装pyecharts:

python pip install pyecharts


绘图函数封装

  • line_chart绘制曲线图
  • pie_chart绘制饼图
  • fl_chart绘制折线图

①用户特征可视化分析

  1. 特征数据统计

  1. 用户浏览情况

绘制浏览量分布曲线:

  • 按照浏览量从大到小将用户排序
  • 依次计算前n个用户的浏览量之和占所有用户浏览量的比例
  • 将人数n和前n人浏览量之和占总体比例绘制为图像

  1. 用户点赞情况
           按照点赞量从大到小排序并求和,绘制曲线

  1. 用户完整观看情况

  1. 用户观看作品的平均完整时长分布

  1. 用户去过的城市数分布

②作者特征可视化分析

  1. 特征数据统计

  1. 作者浏览情况

  1. 作者点赞情况

  1. 作者去过的城市数

③作品特征可视化分析

  1. 特征数据统计

image.png

  1. 作品各日发布情况

  1. 作品浏览量情况

  1. 作品点量率情况

下接:数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(二)



目录
相关文章
|
3天前
|
数据可视化 数据挖掘 Java
深度挖掘数据,智慧决策,VeryReport报表软件引领数据分析新潮流
深度挖掘数据,智慧决策,VeryReport报表软件引领数据分析新潮流
|
1月前
|
数据采集 数据可视化 数据挖掘
数据挖掘实战:使用Python进行数据分析与可视化
在大数据时代,Python因其强大库支持和易学性成为数据挖掘的首选语言。本文通过一个电商销售数据案例,演示如何使用Python进行数据预处理(如处理缺失值)、分析(如销售额时间趋势)和可视化(如商品类别销售条形图),揭示数据背后的模式。安装`pandas`, `numpy`, `matplotlib`, `seaborn`后,可以按照提供的代码步骤,从读取CSV到数据探索,体验Python在数据分析中的威力。这只是数据科学的入门,更多高级技术等待发掘。【6月更文挑战第14天】
71 11
|
4天前
|
JSON 数据挖掘 API
在会议系统工程中,Python可以用于多种任务,如网络请求(用于视频会议的连接和会议数据的传输)、数据分析(用于分析会议参与者的行为或会议效果)等。
在会议系统工程中,Python可以用于多种任务,如网络请求(用于视频会议的连接和会议数据的传输)、数据分析(用于分析会议参与者的行为或会议效果)等。
|
5天前
|
数据采集 数据挖掘 数据处理
Python数据分析加速器:深度挖掘Pandas与NumPy的高级功能
【7月更文挑战第14天】Python的Pandas和NumPy库是数据分析的核心工具。Pandas以其高效的数据处理能力,如分组操作和自定义函数应用,简化了数据清洗和转换。NumPy则以其多维数组和广播机制实现快速数值计算。两者协同工作,如在DataFrame与NumPy数组间转换进行预处理,提升了数据分析的效率和精度。掌握这两者的高级功能是提升数据科学技能的关键。**
12 0
|
1月前
|
数据采集 机器学习/深度学习 数据可视化
数据挖掘实战:Python在金融数据分析中的应用案例
Python在金融数据分析中扮演关键角色,用于预测市场趋势和风险管理。本文通过案例展示了使用Python库(如pandas、numpy、matplotlib等)进行数据获取、清洗、分析和建立预测模型,例如计算苹果公司(AAPL)股票的简单移动平均线,以展示基本流程。此示例为更复杂的金融建模奠定了基础。【6月更文挑战第13天】
221 3
|
1月前
|
JSON 数据挖掘 API
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
28 2
|
2月前
|
数据采集 数据挖掘 API
Ownips+Coze海外社媒数据分析实战指南
本文介绍了在社交媒体数据采集和分析中的实践方法,特别强调了使用IPS代理的重要性。社交媒体如Twitter、Facebook等提供了丰富的数据资源。文章推荐了Ownips,这是一家提供高质量静态ISP代理服务的公司,用户可以选择需要的地区IP,并通过API或账号定向访问配置使用。 文章通过一个Twitter趋势数据采集的案例,展示了如何利用Ownips代理IP和Python的requests库以及BeautifulSoup解析HTML来获取和解析数据。此外,文章还提到了如何在Coze平台上创建数据采集插件和Twitter Bot,以实现自动化和智能化的数据分析。
Ownips+Coze海外社媒数据分析实战指南