数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一)

简介: 数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(一)

(一)问题定义( 明确你要解决的问题或目标。确定你希望从数据中获得什么类型的信息,以及如何将其应用于实际场景。)

①项目选题与背景

       本项目实现抖音用户浏览行为数据分析与挖掘。抖音是一款流行的短视频平台,用户在使用抖音时会产生大量的浏览行为数据,包括用户的观看视频、点赞、评论、分享等行为。本次项通过数据挖掘技术对抖音用户的浏览行为数据进行分析和挖掘,以获得有价值的信息和洞察,并将其应用于实际场景中,如用户个性化推荐、内容优化和广告定向投放等。

②项目意义

       在数据挖掘的背景下,抖音用户浏览行为数据分析与挖掘具有重要的意义,对抖音用户浏览行为进行数据分析与挖掘,可以了解用户的兴趣和偏好,优化用户体验,提高内容的质量和吸引力,同时也可以为广告商提供更准确的定向投放服务,实现数据驱动的运营决策。

③项目需要解决的问题或目标

       A.用户兴趣和喜好分析:通过分析抖音用户的浏览行为数据,了解用户对不同类型内容的偏好和兴趣。这可以帮助平台更好地了解用户需求,优化推荐算法,提供个性化的内容推荐,增加用户留存和活跃度。

       B.内容优化和创新:通过数据挖掘,识别和分析受欢迎的内容类型、创意和趋势。这可以为内容创作者和平台运营者提供指导,优化现有内容,改进内容质量,吸引更多用户参与,并发现新的创意和趋势。

       C.广告定向投放:利用用户浏览行为数据,了解用户的兴趣和偏好,为广告商提供精准的广告定向投放。通过分析用户行为模式,识别潜在的目标用户群体,并根据他们的兴趣和行为特征,将广告推送给最相关的用户,提高广告投放效果和转化率。

       D.运营决策和业务优化:通过数据挖掘和分析,了解用户行为的变化趋势、活跃度和留存率等指标。这可以为抖音平台的运营决策提供依据,优化平台的功能设计、内容策略、资源分配和运营活动等,提升用户体验和平台的竞争力。

       E.用户群体分析:利用用户浏览行为数据,对用户进行群体分析,识别不同用户群体的特征、行为模式和偏好。这可以帮助平台了解用户群体的多样性,为不同用户提供定制化的内容和服务,满足他们的个性化需求。

④从数据中获得什么类型的信息,以及如何将其应用于实际场景

       从抖音用户浏览行为数据中希望获得的类型信息包括用户兴趣和喜好、内容类型和创意趋势、广告定向投放指导、用户行为指标和用户群体特征。这些信息可以应用于实际场景,包括个性化推荐算法的改进、内容创作和运营策略的优化、广告投放的精准定向、平台功能设计的优化和用户体验的提升。

(二)数据收集

       首先,需要获取抖音用户的浏览行为的相关数据集,包括用户的观看记录、点赞记录、评论记录、分享记录等。这可以从数据库中提取数据、采集网络数据、使用API 访问数据源或与合作伙伴合作获得数据,也可以通过与抖音平台合作获得用户数据,使用API访问数据接口或其他合法的数据收集手段来实现。

①熟悉数据,查看数据结构和数据分布情况

数据集说明

字段名 解释 字段名 解释 字段名 解释
uid 用户id user_city 用户城市 item_id 作品id
author_id 作者id item_city 作者城市 channel 作品频道
finish 是否看完 like 是否点赞 music_id 音乐id
duration_time 作品时长 real_time 具体发布时间 H、date 时、天(发布)

数据集下载:抖音用户浏览行为数据集

②导入必要的Python Packages

       首先导入需要的python包,其中包括NumPy、Pandas,导入这些包能够使用相应库和模块的函数、类和方法来处理和分析数据、进行机器学习模型的训练和评估。

③读入数据Read-In Data

       加载并存储"douyin_dataset(1).csv“到一个名为"df"的DataFrame中,使用head()方法显示DataFrame的前几行数据。

④使用info()函数查看数据类型展示及缺失值分析,该数据集共有 1737312 条记录,包含 13 个字段,每个字段的非空值数量均为 1737312。其中,前 10 列是数值型变量(包括整型和浮点型),后两列是字符串型变量。数据集占用的内存大小为 172.3 MB

(三)数据预处理

       在进行数据挖掘之前,我们需要对数据进行预处理和清洗,以确保数据的质量和一致性。

1) 数据去重

       无重复数据

2) 缺失值查看

       无缺失值

3) 变量类型转换

       real_time 和 date 转为时间变量

       id、城市编码转为字符串,并把小数点去掉

(四)特征指标构建——统计分析(分类)

       根据问题的需求和数据的特点,进行特征选择、提取和转换。例如,可以从用户的浏览行为数据中提取特征,如观看时长、点赞数、评论数、分享数等,或者通过文本挖掘技术提取用户的评论内容特征,可以包括对原始特征进行数值化、编码分类变量、创建新特征等操作。

①用户特征统计分析

       站在用户的角度,涉及到浏览量,点赞量,浏览的作品、作者、BGM的总数等

②作者特征统计分析

       站在作者的角度,涉及到总浏览量,总点赞量等

③作品特征统计分析

        站在作品的角度,简单分析

(五)可视化分析

       可视化:可以通过line_chart绘制曲线图,pie_chart绘制饼图,fl_chart绘制折线图。


ps:pyecharts是Python中一个数据可视化库,可以用于生成种类型的图表。 打开命令行窗口,输入以下命令来安装pyecharts:

python pip install pyecharts


绘图函数封装

  • line_chart绘制曲线图
  • pie_chart绘制饼图
  • fl_chart绘制折线图

①用户特征可视化分析

  1. 特征数据统计

  1. 用户浏览情况

绘制浏览量分布曲线:

  • 按照浏览量从大到小将用户排序
  • 依次计算前n个用户的浏览量之和占所有用户浏览量的比例
  • 将人数n和前n人浏览量之和占总体比例绘制为图像

  1. 用户点赞情况
           按照点赞量从大到小排序并求和,绘制曲线

  1. 用户完整观看情况

  1. 用户观看作品的平均完整时长分布

  1. 用户去过的城市数分布

②作者特征可视化分析

  1. 特征数据统计

  1. 作者浏览情况

  1. 作者点赞情况

  1. 作者去过的城市数

③作品特征可视化分析

  1. 特征数据统计

image.png

  1. 作品各日发布情况

  1. 作品浏览量情况

  1. 作品点量率情况

下接:数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(二)



相关文章
|
14天前
|
监控 安全 数据可视化
R语言在员工上网行为监控中的数据分析
本文讲述了如何使用R语言分析员工上网行为以提升企业网络安全。通过收集网络流量和访问记录数据,利用R进行读取、分析和可视化,例如查看访问时长分布和热门网站。此外,文中还介绍了一个自动将监控数据提交到网站的R脚本,通过定时任务实现数据的持续更新和管理,及时发现并应对安全风险,增强网络安全性。
67 3
|
3天前
|
人工智能 分布式计算 算法
数据挖掘实战随笔更新清单
这是一系列技术博客的摘要,涵盖了多个主题。包括Elasticsearch实战经验、Maxcompute中的Geohash转换和GPS处理、Python环境配置与管理(如Jupyter、Miniforge、Miniconda)、批量接口调用、多进程CSV图片下载、Excel到Markdown转换、Scikit-learn的异常检测(OC-SVM)和模型总结、人工智能领域的图像分类和识别、文本挖掘算法以及数仓相关的行转列处理。所有文章都在持续更新和补充中。
13 2
|
11天前
|
SQL 数据挖掘 HIVE
【Hive SQL 每日一题】在线课程学生行为数据分析
该数据分析师任务是分析在线学习平台的学生行为,以优化课程内容和学习体验。提供的数据包括`students`表(含学生ID、姓名、年龄和性别)和`course_activity`表(含活动ID、学生ID、课程ID、活动日期和学习时长)。分析涉及:1) 学生参加的课程数量,2) 课程总学习时长,3) 按性别分组的平均学习时长,4) 学生首次参加的课程及日期,5) 学生最近一次学习的时长,以及6) 参与学生最多的课程。所有查询都使用了SQL,部分涉及窗口函数和分组统计。数据集可在给定链接下载。
|
18天前
|
数据采集 数据可视化 数据挖掘
利用 DataFrame 进行数据分析:实战案例解析
【5月更文挑战第19天】DataFrame是数据分析利器,本文通过一个销售数据案例展示其使用:读取数据创建DataFrame,计算产品总销量,分析月销售趋势,找出最畅销产品,并进行数据可视化。此外,还提及数据清洗和异常处理。DataFrame为数据处理、分组计算和可视化提供便利,助力高效数据分析。
40 3
|
22天前
|
算法 搜索推荐 数据挖掘
数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(续)
数据挖掘实战 —— 抖音用户浏览行为数据分析与挖掘(续)
|
16天前
|
存储 数据采集 数据挖掘
Python数据分析实验一:Python数据采集与存储
Python数据分析实验一:Python数据采集与存储
113 1
|
17天前
|
数据采集 SQL 数据挖掘
2024年8个Python高效数据分析的技巧_python 数据分析 效率,2024年最新阿里社招p7面试几轮
2024年8个Python高效数据分析的技巧_python 数据分析 效率,2024年最新阿里社招p7面试几轮
|
4天前
|
Python 数据挖掘 数据可视化
Python数据分析——Pandas与Jupyter Notebook
【6月更文挑战第1天】 本文探讨了如何使用Python的Pandas库和Jupyter Notebook进行数据分析。首先,介绍了安装和设置步骤,然后展示了如何使用Pandas的DataFrame进行数据加载、清洗和基本分析。接着,通过Jupyter Notebook的交互式环境,演示了数据分析和可视化,包括直方图的创建。文章还涉及数据清洗,如处理缺失值,并展示了如何进行高级数据分析,如数据分组和聚合。此外,还提供了将分析结果导出到文件的方法。通过销售数据的完整案例,详细说明了从加载数据到可视化和结果导出的全过程。最后,讨论了进一步的分析和可视化技巧,如销售额趋势、产品销售排名和区域分布,以及
20 2
|
8天前
|
存储 并行计算 数据挖掘
Python中的NumPy库:科学计算与数据分析的基石
Python中的NumPy库:科学计算与数据分析的基石
64 0
|
9天前
|
数据采集 XML 数据可视化
使用Python进行简单的网页与数据分析
使用Python进行简单的网页与数据分析
57 0