基于人工智能的校园霸凌受害者预测与分析（上）

2023-05-26 348

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 基于人工智能的校园霸凌受害者预测与分析

一、基于人工智能的校园霸凌受害者预测与分析

1.背景描述

本数据集来自全球校内学生健康调查（GSHS）是一项以学校为基础的调查，调查使用自填式问卷来获取年轻人的健康行为和与发病和死亡的主要原因有关的保护因素的数据。

该调查于2018年在阿根廷进行。共有56,981名学生参加。

学校回复率为86%，学生回复率为74%，总体回复率为63%。

2.数据说明

字段	说明
Bullied on school property in past 12 months,	在过去的12个月里，在学校范围内受到霸凌
Bullied not on school property in past 12_months	在过去的12个月里，在学校以外的地方受到过霸凌
Cyber bullied in past 12 months	过去12个月内被网络霸凌的情况
Custom Age	自定义年龄
Sex	性别
Physically attacked	身体受到攻击
Physical fighting	身体对抗
Felt lonely	感到孤独
Close friends	亲密的朋友
Miss school no permission	未经学校许可的缺勤天数
Other students kind and helpful	其他学生的善意和帮助
Parents understand problems	父母是否知情
Most of the time or always felt lonely	大部分时间或总是感到孤独
Missed classes or school without permission	未经允许而缺课或旷课
Were underweight	是否体重过轻
Were overweight	是否体重过重
Were obese	是否肥胖

3.问题描述

通常，霸凌与孤独感、缺乏亲密朋友、与父母沟通不畅、缺课等有关。(例如，Nansel等人在美国青年中的欺凌行为：普遍性和与社会心理适应的联系)。调查数据显示，被霸凌者多为体重不足、超重和肥胖的人。

二、数据处理

1.读取数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import plotly.express as px
import os
df = pd.read_csv("data/data208695/Bullying_Dataset.csv",sep=',')
df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	序号	过去12个月内受到校内霸凌	过去12个月内校外受到霸凌	过去12个月内受到网络霸凌	年龄	性别	身体受到攻击	身体对抗	感到孤独	亲密的朋友	未经学校许可的缺勤天数	其他学生的善意和帮助	父母了解问题	大部分时间或总是感到孤独	未经允许而缺课或旷课	体重过轻	体重过重	肥胖
0	1	Yes	Yes		13	Female	0 times	0 times	Always	2	10 or more days	Never	Always	Yes	Yes
1	2	No	No	No	13	Female	0 times	0 times	Never	3 or more	0 days	Sometimes	Always	No	No
2	3	No	No	No	14	Male	0 times	0 times	Never	3 or more	0 days	Sometimes	Always	No	No	No	No	No
3	4	No	No	No	16	Male	0 times	2 or 3 times	Never	3 or more	0 days	Sometimes		No	No	No	No	No
4	5	No	No	No	13	Female	0 times	0 times	Rarely	3 or more	0 days	Most of the time	Most of the time	No	No

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 56981 entries, 0 to 56980
Data columns (total 18 columns):
 #   Column         Non-Null Count  Dtype 
---  ------         --------------  ----- 
 0   序号             56981 non-null  int64 
 1   过去12个月内受到校内霸凌  56981 non-null  object
 2   过去12个月内校外受到霸凌  56981 non-null  object
 3   过去12个月内受到网络霸凌  56981 non-null  object
 4   年龄             56981 non-null  object
 5   性别             56981 non-null  object
 6   身体受到攻击         56981 non-null  object
 7   身体对抗           56981 non-null  object
 8   感到孤独           56981 non-null  object
 9   亲密的朋友          56981 non-null  object
 10  未经学校许可的缺勤天数    56981 non-null  object
 11  其他学生的善意和帮助     56981 non-null  object
 12  父母了解问题         56981 non-null  object
 13  大部分时间或总是感到孤独   56981 non-null  object
 14  未经允许而缺课或旷课     56981 non-null  object
 15  体重过轻           56981 non-null  object
 16  体重过重           56981 non-null  object
 17  肥胖             56981 non-null  object
dtypes: int64(1), object(17)
memory usage: 7.8+ MB

2.统计空值

对于内容为空白的，替换为空值

df.replace(r'^\s*$', np.nan, regex=True, inplace=True)

^ 代表开始
$ 代表结束
\s 空白字符

代表多次

df.replace(r'^\s*$', np.nan, regex=True, inplace=True)

df.isnull().sum()

序号                   0
过去12个月内受到校内霸凌     1239
过去12个月内校外受到霸凌      489
过去12个月内受到网络霸凌      571
年龄                 108
性别                 536
身体受到攻击             240
身体对抗               268
感到孤独               366
亲密的朋友             1076
未经学校许可的缺勤天数       1864
其他学生的善意和帮助        1559
父母了解问题            2373
大部分时间或总是感到孤独       366
未经允许而缺课或旷课        1864
体重过轻             20929
体重过重             20929
肥胖               20929
dtype: int64

体重过轻、体重过重、肥胖这几类空值很多，可以不用算在特整理。

3.缺失值可视化

主要是中文显示，aistudio目前内置了中文字题，需要特别声明。

import warnings
warnings.filterwarnings("ignore")
import matplotlib
import matplotlib.pyplot as plt
import matplotlib.font_manager as font_manager
%matplotlib inline
# 设置显示中文
matplotlib.rcParams['font.sans-serif'] = ['FZSongYi-Z13S'] # 指定默认字体
matplotlib.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
# 各列缺失值百分比
missing_perc = (df.isnull().sum() / len(df)) * 100
# 降序排列
missing_perc_sorted = missing_perc.sort_values(ascending=False)
# 计算缺失值的累积百分比
cumulative_perc = missing_perc_sorted.cumsum()
# 制作一个帕累托图表
fig, ax1 = plt.subplots(figsize=(10, 6))
ax1.bar(missing_perc_sorted.index, missing_perc_sorted.values, color='tab:blue')
ax1.set_xlabel('特征')
ax1.set_ylabel('缺失值比例', color='tab:blue')
ax1.set_xticklabels(missing_perc_sorted.index, rotation=90)
# 为累积百分比添加第二个y轴
ax2 = ax1.twinx()
ax2.plot(missing_perc_sorted.index, cumulative_perc.values, color='tab:red', marker='o')
ax2.set_ylabel('累积百分数', color='tab:red')
# 旋转x轴标签以便更好地显示
plt.xticks(rotation=90)
# 显示
plt.show()

4.删除缺失值较多的特征列

# Drop columns with a high proportion of missing values
df.drop(['肥胖', '体重过轻', '体重过重'], axis=1, inplace=True)
#dropping na values
df=df.dropna()

5.空值检查

# 各列非空值统计
non_null_counts = df.count()
# 检查是否所有列都有相同的非空值计数
if non_null_counts.nunique() == 1:
    print("Total null values:", df.isnull().sum().sum())
else:
    print("Columns have different counts of non-null values.")

Total null values: 0

df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	序号	过去12个月内受到校内霸凌	过去12个月内校外受到霸凌	过去12个月内受到网络霸凌	年龄	性别	身体受到攻击	身体对抗	感到孤独	亲密的朋友	未经学校许可的缺勤天数	其他学生的善意和帮助	父母了解问题	大部分时间或总是感到孤独	未经允许而缺课或旷课
1	2	No	No	No	13	Female	0 times	0 times	Never	3 or more	0 days	Sometimes	Always	No	No
2	3	No	No	No	14	Male	0 times	0 times	Never	3 or more	0 days	Sometimes	Always	No	No
4	5	No	No	No	13	Female	0 times	0 times	Rarely	3 or more	0 days	Most of the time	Most of the time	No	No
5	6	No	No	No	13	Male	0 times	1 time	Never	3 or more	0 days	Most of the time	Always	No	No
6	7	No	No	No	14	Female	1 time	0 times	Sometimes	3 or more	0 days	Most of the time	Always	No	No

df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	序号	过去12个月内受到校内霸凌	过去12个月内校外受到霸凌	过去12个月内受到网络霸凌	年龄	性别	身体受到攻击	身体对抗	感到孤独	亲密的朋友	未经学校许可的缺勤天数	其他学生的善意和帮助	父母了解问题	大部分时间或总是感到孤独	未经允许而缺课或旷课
1	2	No	No	No	13	Female	0 times	0 times	Never	3 or more	0 days	Sometimes	Always	No	No
2	3	No	No	No	14	Male	0 times	0 times	Never	3 or more	0 days	Sometimes	Always	No	No
4	5	No	No	No	13	Female	0 times	0 times	Rarely	3 or more	0 days	Most of the time	Most of the time	No	No
5	6	No	No	No	13	Male	0 times	1 time	Never	3 or more	0 days	Most of the time	Always	No	No
6	7	No	No	No	14	Female	1 time	0 times	Sometimes	3 or more	0 days	Most of the time	Always	No	No

三、特征处理

1.特征分类变量序列化

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()

# 除去序号列
columns=df.columns[1:]
print(len(columns))
for column in columns:
    print(column)

14
过去12个月内受到校内霸凌
过去12个月内校外受到霸凌
过去12个月内受到网络霸凌
年龄
性别
身体受到攻击
身体对抗
感到孤独
亲密的朋友
未经学校许可的缺勤天数
其他学生的善意和帮助
父母了解问题
大部分时间或总是感到孤独
未经允许而缺课或旷课

for column in columns:
    print(f"完成 {column} 列序列化")
    df[column]=le.fit_transform(df[column])

完成 过去12个月内受到校内霸凌 列序列化
完成 过去12个月内校外受到霸凌 列序列化
完成 过去12个月内受到网络霸凌 列序列化
完成 年龄 列序列化
完成 性别 列序列化
完成 身体受到攻击 列序列化
完成 身体对抗 列序列化
完成 感到孤独 列序列化
完成 亲密的朋友 列序列化
完成 未经学校许可的缺勤天数 列序列化
完成 其他学生的善意和帮助 列序列化
完成 父母了解问题 列序列化
完成 大部分时间或总是感到孤独 列序列化
完成 未经允许而缺课或旷课 列序列化

df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	序号	过去12个月内受到校内霸凌	过去12个月内校外受到霸凌	过去12个月内受到网络霸凌	年龄	性别	身体受到攻击	身体对抗	感到孤独	亲密的朋友	未经学校许可的缺勤天数	其他学生的善意和帮助	父母了解问题	大部分时间或总是感到孤独	未经允许而缺课或旷课
1	2	0	0	0	2	0	0	0	2	3	0	4	0	0	0
2	3	0	0	0	3	1	0	0	2	3	0	4	0	0	0
4	5	0	0	0	2	0	0	0	3	3	0	1	1	0	0
5	6	0	0	0	2	1	0	1	2	3	0	1	0	0	0
6	7	0	0	0	3	0	1	0	4	3	0	1	0	0	0

2.数据集切分

from sklearn.model_selection import train_test_split
# 切分数据集为 训练集 、 测试集
X = df.drop(['序号', '身体受到攻击'], axis=1)
y = df['身体受到攻击']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=2023)

基于人工智能的校园霸凌受害者预测与分析（上）

一、基于人工智能的校园霸凌受害者预测与分析

1.背景描述

2.数据说明

3.问题描述

二、数据处理

1.读取数据

2.统计空值

3.缺失值可视化

4.删除缺失值较多的特征列

5.空值检查

三、特征处理

1.特征分类变量序列化

2.数据集切分

热门文章

最新文章

相关课程

相关电子书

相关实验场景

基于人工智能的校园霸凌受害者预测与分析（上）

一、基于人工智能的校园霸凌受害者预测与分析

1.背景描述

2.数据说明

3.问题描述

二、数据处理

1.读取数据

2.统计空值

3.缺失值可视化

4.删除缺失值较多的 特征列

5.空值检查

三、特征处理

1.特征分类变量序列化

2.数据集切分

热门文章

最新文章

相关课程

相关电子书

相关实验场景

4.删除缺失值较多的特征列