【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案--2 数据分析

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: 讯飞英文学术论文分类挑战赛数据集的分析,包括数据加载、缺失值检查、标签分布、文本长度统计等内容,并总结了数据的基本情况。

相关信息

1 赛题

比赛官网

  1. 本次赛题希望参赛选手利用论文信息:论文id、标题、摘要,划分论文具体类别。
    赛题样例(使用\t分隔):
    paperid:9821
    title:Calculation of prompt diphoton production cross sections at Tevatron and LHC energies
    abstract:A fully differential calculation in perturbative quantum chromodynamics is presented for the production of massive photon pairs at hadron colliders. All next-to-leading order perturbative contributions from quark-antiquark, gluon-(anti)quark, and gluon-gluon subprocesses are included, as well as all-orders resummation of initial-state gluon radiation valid at next-to-next-to-leading logarithmic accuracy.
    categories:hep-ph
  2. 评估指标
    本次竞赛的评价标准采用准确率指标,最高分为1。计算方法参考https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy\_score.html, 评估代码参考
from sklearn.metrics import accuracy_score
y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
accuracy_score(y_true, y_pred)
AI 代码解读

2 数据分析

github代码下载

2.1 加载数据

import re
import numpy as np
import pandas as pd

train = pd.read_csv('./data/train.csv', sep='\t')
test = pd.read_csv('./data/test.csv', sep='\t')
sub = pd.read_csv('./data/sample_submit.csv')
# 查看前5行数据
train.head(5)
AI 代码解读

1.png


分别有四个属性,paperid、titile、abstract、categories

# 数据大小 train.shape,test.shape,sub.shape #((50000, 4), (10000, 3), (10000, 2))

### 2.2 查看缺失值

# 查看训练集缺失值 train.isnull().sum() # 查看测试集缺失值 test.isnull().sum() # 查看训练集数据信息 train.info() # 查看测试集数据信息 test.info()

> paperid 0
> title 0
> abstract 0
> categories 0
> dtype: int64

> paperid 0
> title 0
> abstract 0
> dtype: int64

2.png


3.png

# 查看数据集中间有无空行
print("train null nums")
print(train.shape[0]-train.count())
print("test null nums")
print(test.shape[0]-test.count())
AI 代码解读

无缺失值,无空行,训练集有5W行,测试集有1W行

2.3 标签分布

train['categories'].value_counts()
# # 标签类别数 39
len(train['categories'].value_counts())

# 绘制直方图
sns.countplot(train.categories)
plt.xlabel('categories count')
AI 代码解读

4.png


大类别只有CS一种,子类别有39类。数据分布不均衡

### 2.4 文本长度

# 训练集 titlelen1 = [] abstractlen1 = [] for i in range(len(train)): titletext = train['title'][i] abstracttext = train['abstract'][i] titlelen1.append(len(tokenizer.tokenize(titletext))) abstractlen1.append(len(tokenizer.tokenize(abstracttext))) train['titlelen'] = titlelen1 train['abstractlen'] = abstractlen1 x1 = train['titlelen'].describe() x2 = train['abstractlen'].describe() # 测试集 titlelen2 = [] abstractlen2 = [] for i in range(len(test)): titletext = test['title'][i] abstracttext = test['abstract'][i] titlelen2.append(len(tokenizer.tokenize(titletext))) abstractlen2.append(len(tokenizer.tokenize(abstracttext))) test['titlelen'] = titlelen2 test['abstractlen'] = abstractlen2 x3 = test['titlelen'].describe() x4 = test['abstractlen'].describe()

训练集

> count 50000.00000
> mean 10.60276
> std 4.06394
> min 1.00000
> 25% 8.00000
> 50% 10.00000
> 75% 13.00000
> max 44.00000
> Name: titlelen, dtype: float64

测试集

> count 50000.00000
> mean 186.88670
> std 71.31268
> min 5.00000
> 25% 137.00000
> 50% 182.00000
> 75% 231.00000
> max 629.00000
> Name: abstractlen, dtype: float64

训练集标题平均10个单词,摘要平均186个单词
测试集标题平均10个单词,测试集摘要平均186个单词

### 2.5 标题摘要合并后字符长度

train['text_len']=train['text'].map(len) test['text_len']=test['text'].map(len) train['text'].map(len).describe() test['text'].map(len).describe() # 绘制句子长度分布图 train['text_len'].plot(kind='kde') test['text_len'].plot(kind='kde')

> count 50000.00000
> mean 1131.28478
> std 387.14365
> min 69.00000
> 25% 860.00000
> 50% 1117.00000
> 75% 1393.00000
> max 3713.00000
> Name: text, dtype: float64

> count 10000.000000
> mean 1127.097700
> std 388.662603
> min 74.000000
> 25% 855.750000
> 50% 1111.000000
> 75% 1385.250000
> max 3501.000000
> Name: text, dtype: float64

5.png

每个样本文本单词长度200左右,字符平均长度1000左右。理论上单词数小于200的成为短文本,这里可以当成短文本去处理,高于200的进行截断。
对比两张图,训练集和测试集长度分布一致。

3 总结

(1)数据可视为短文本数据
(2)赛题属于多分类单标签问题,39类,类别分布不均衡,数据为英文文本
(3)文本有title和abstract两部分,平均长度为10和185
(4)数据量较小,只有5W
(5)训练集测试集数据分布一致
(6)赛题奖金太少,但学习作用很大

目录
打赏
0
0
0
0
150
分享
相关文章
阿里通义推出SmartVscode插件,自然语言控制VS Code,轻松开发应用,核心技术开源!
SmartVscode插件深度解析:自然语言控制VS Code的革命性工具及其开源框架App-Controller
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
168 9
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
用自然语言控制电脑,字节跳动开源 UI-TARS 的桌面版应用!内附详细的安装和配置教程
UI-TARS Desktop 是一款基于视觉语言模型的 GUI 代理应用,支持通过自然语言控制电脑操作,提供跨平台支持、实时反馈和精准的鼠标键盘控制。
555 17
用自然语言控制电脑,字节跳动开源 UI-TARS 的桌面版应用!内附详细的安装和配置教程
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
FastExcel 是一款基于 Java 的高性能 Excel 处理工具,专注于优化大规模数据处理,提供简洁易用的 API 和流式操作能力,支持从 EasyExcel 无缝迁移。
251 9
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
【python】python当当数据分析可视化聚类支持向量机预测(源码+数据集+论文)【独一无二】
【python】python当当数据分析可视化聚类支持向量机预测(源码+数据集+论文)【独一无二】
123 1
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
本文介绍了2023年第二届钉钉杯大学生大数据挑战赛初赛A题的Python代码分析,涉及智能手机用户监测数据分析中的聚类分析和APP使用情况的分类与回归问题。
123 0
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
【python】美妆类商品跨境电商数据分析(源码+课程论文+数据集)【独一无二】
【python】美妆类商品跨境电商数据分析(源码+课程论文+数据集)【独一无二】
147 3
【python】美妆类商品跨境电商数据分析(源码+课程论文+数据集)【独一无二】
【python】python海底捞门店营业数据分析与可视化(数据集+源码+论文)【独一无二】
【python】python海底捞门店营业数据分析与可视化(数据集+源码+论文)【独一无二】
105 2
【python】python学生成绩数据分析可视化(源码+数据+论文)【独一无二】
【python】python学生成绩数据分析可视化(源码+数据+论文)【独一无二】
254 2

热门文章

最新文章