【2024泰迪杯】C 题：竞赛论文的辅助自动评阅 26页及31页完整论文及Python 代码实现
相关链接
1 题目
一、问题背景
近年来我国各领域各层次学科竞赛百花齐放，层出不穷，学生参与度也越来越高。随着参赛队伍的增加，评阅论文的工作量急剧增加，这对评阅论文的人力要求也越来越大。因此引入机器辅助评阅成为竞赛主办方的现实需求。
在学术界，建立基于 AI 的学术论文自动评审模型已得到了许多研究者的关注。论文的自动评阅涉及多种传统的自然语言处理技术如文本分类、信息抽取、论辩挖掘等。近年来，随着深度学习和自然语言处理技术的不断发展，特别是以 GPT 为代表的大语言模型的出现，进一步促进了论文自动评阅技术的发展，使得利用 AI 进行文本的自动评阅变得越来越可行，逐步从实验室走向学校和更多组织机构，成为当前的技术热点。但是在特定领域实现论文自动评阅仍然存在很多挑战，需要利用预训练的大语言模型适配具体的应用场景来解决问题。
二、解决问题
1、构造论文质量特征
每个指标的分数范围为 0-10 分。
（1） 论文的完整性评价
对照赛题，比对竞赛论文中相关问题的章节或段落，对论文的完整性进行评价。评估竞赛论文是否能完整解答赛题，并给出评价论文完整性的技术手段和评分标准。
（2） 论文有无实质性工作
对照赛题评阅要点，查找竞赛论文中相关问题的章节或段落，考察论文是否就赛题问题做出了相关的研究。需给出相关的技术方法和评价标准。
（3） 摘要质量
摘要与内容的一致性评价。评价摘要是否如实反映正文的中心思想，即衡量内容摘要与正文的相关性、一致性。需给出摘要质量评价指标及其依据。
（4） 写作水平评价
评价文字流畅性、写作规范（图、表、摘要）性和论文逻辑性。在传统论文评分（essay scoring）技术基础上，从文本通顺、立意分析、篇章结构、论证挖掘等维度进行探索，挖掘文本蕴含的论点论据、论证关系、结构信息，结合论证挖掘角度评估论文一致性、逻辑性，综合给出论文写作水平的评分。
2、竞赛论文辅助评分
根据上面构造的各项评分指标建立论文的整体评分模型，根据提供的论文集，按照十分制给出每篇论文的综合评分，将结果保存到 result.xlsx 文件中。综合评分结果要求满足如下限制条件：
8-10 分的不超过 3%；
6-7 分的不少于 10%，6-10 分不超过 15%；
4-5 分不少于 20%，4-10 分不超过 35%；
其他的为 0-3 分。
一般而言，在综合评分中论文的完整性和写作水平的分数占比之和不超过 40%。
注 1 若使用预训练的大语言模型完成赛题任务，需要给出实现过程，如提问时使用的提示词及如何进一步利用提问结果。
注 2 自 2022 年底 ChatGPT 发布以来，大语言模型的能力突飞猛进，可考虑将大语言模型技术应用于本次竞赛。一方面可考虑使用 ChatGPT、讯飞星火、文心一言、智谱清言等国内外大模型接口，基于大语言模型设计算法和构建合适的提示词等，辅助完成本赛题的任务。另一方面也可考虑微调训练开源大语言模型，例如 ChatGLM、Qwen、Baichuan 等系列开源大语言模型，设计训练任务，让知识赋能大语言模型以更好地解决问题。
三、附件说明
附件 1 为竞赛论文集，附件 2 为赛题和参考评阅标准，附件 3 为 result.xlsx 的结果模板。
表 1 result.xlsx 样例
| 论文编号 | 完整性 | 实质性 | 摘要 | 写作水平 | 综合评分 |
|---|---|---|---|---|---|
| C001 | …… | …… | …… | …… | …… |
2 问题分析
2.1 问题一
论文的完整性评价。
- 使用文本分析技术，如 PdfMiner是一个功能强大的PDF处理工具，可以根据实际需要进一步对提取的文本内容进行分析，识别论文结构中与赛题相关的章节或段落，比如问题陈述、模型建立、模型求解、结果分析等。
- 评估论文结构的逻辑完整性和条理性，查看论文是否按照标准的学术论文结构进行组织，并对每个部分的逻辑顺序进行评估。
2.2 问题二
评估论文是否就赛题问题做出了相关的研究，则使用自然语言处理的方法，抽取论文每个段落的关键词，与赛题给出的关键词进行对比评分。
首先使用自然语言处理的方法，如分词、词性标注和句法分析，将论文分成段落或句子。
然后采用主题建模方法，如Latent Dirichlet Allocation (LDA)或其它话题模型，从文本中识别与赛题相关的主题或话题，以确定哪些部分涉及与赛题相关的内容。
- 结合语义分析技术，如词向量模型或深度学习模型，量化评估问题陈述部分是否包含了关键信息，例如问题的关键词、目标和约束条件。
2.3 问题三
衡量论文摘要与正文的相关性和一致性，并对摘要进行质量评价打分，可以借助文本相似度、主题模型、关键词抽取和语义分析等方法。
（1）文本相似度分析
- 利用词袋模型、TF-IDF、Word2Vec或BERT等方法，计算论文摘要与正文之间的相似度。可以采用余弦相似度或Jaccard相似度等指标。如果摘要与正文内容相关性高，相似度分数会相应增加。
（2）主题模型分析
使用主题模型如Latent Dirichlet Allocation (LDA)或潜在语义分析（LSA），比较摘要中的主题与正文中的主题，以评估摘要是否涵盖了论文的核心主题。。
（3）关键词抽取与比对
使用关键词抽取技术，比较摘要中提取的关键词和正文中的关键词，检查它们的一致性和覆盖度。分析摘要中提取的关键词是否在正文中有对应的论述。
（4）语义分析与信息覆盖度
利用自然语言处理技术，分析摘要中涉及的信息在正文中的覆盖程度，包括实体识别、概念匹配等。分析摘要中涉及的重要信息在正文中的覆盖情况。
2.4 问题四
评价文字流畅性、写作规范和论文逻辑性，涉及到文本通顺、立意分析、篇章结构、论证挖掘等多个维度。传统论文评分技术结合了自然语言处理和机器学习技术进行综合评估，下面是一些技术细节、评价指标及其依据：
（1）文本通顺性评价
使用使用句法分析器，如StanfordNLP、Spacy等，对句子进行语法分析，识别句子中的主语、谓语、宾语等成分，以及句法结构关系。检测句子内部的语法结构是否合理。应用词义消歧、语义角色标注等技术，检测句子之间的逻辑衔接和连贯性；
（2）写作规范性评价：
使用Python的库NLTK或spaCy，来对论文中的图表标注进行文本解析和识别。结合正则表达式和规则匹配，检测图表标题、标签、图表内容等是否符合规范格式。可以使用正则表达式来匹配特定格式的图表标题和标签。
（3）立意分析评价：
应用聚类分析和关键词抽取，分析文本中表达的核心观点和立意。
（4）篇章结构
使用词性标注和文本匹配技术，识别文本中的桥接词或过渡性词语，以评估段落间的连接和衔接情况，来表示篇章之间的逻辑关系。
（5）论证挖掘评价
利用ChatGPT、讯飞星火、文心一言等大模型分析论文中的论点、论据、论证关系，评估其合理性和逻辑性。
3 论文介绍
3.1 第一篇26页论文
摘要
论文作为一种研究和描述学术研究成果的文章，在当今学术领域发挥着越来越大的作用。在学科竞赛以及毕业设计中随处可见它的身影。然而，越来越多的论文导致评阅论文的工作 量急剧增加，对评阅论文的人力要求也越来越大。因此引入机器评阅成为现实需求。然而随着科技的进步与发展，大语言模型的能力突飞猛进。本系统尝试采用 moonshot-v1-128k、 SparkDesk、step 等开源大语言模型，设计算法和构建合适的提示词等，通过调用线上 API 的 方式，完成对大批量论文评阅的任务。
我们借助 Github 上的开源项目 gpt_academic（GPT 学术优化平台），这是一个致力于将 GPT 等大语言模型应用于学术研究的开源项目，这个项目为我们提供了一个调用 API、上传 PDF 论文、保存论文评阅日志的平台。我们通过这个平台设计了具有评阅论文功能的函数插件，此函数首先是通过调用大模型在中文语境下对论文进行通读并总结，然后带着总结的 “记忆”以及通读论文全篇论文的“知识”对论文从完整性、有无实质性工作、摘要质量、写作质量四个方面进行打分。大模型具有很强的可调性，通过这样的方式我们让 moonshot- v1-128k、SparkDesk、step、DeepSeek 分别以专家视角以及普通视角对论文进行评阅，得到了较为可信的论文评阅结果以及有据可查的详实的论文评阅日志。针对论文分数的限制条件，我们通过设定 prompt，使得论文的分数较好地控制在了题目要求的范围内，同时让大模型对论文进行评阅的分数以特定的格式输出，最后通过正则表达式将分数从输出中提取出来导入到表格中。本次竞赛我们小组的所有过程性数据（评分日志，报错日志，完整性、是否有实质性工作，摘要质量，写作质量得分 csv 文件）均已打包，并于项目代码，数据分析代码压缩至程序.zip 压缩包。
在得到多个大模型给出的第一手得分数据后，我们通过协同过滤，协同修正，非线性变换等方式对数据进行二次处理，并分析了数据间的肯德尔系数，皮尔森系数。并通过来刻画大模型输出数据间的关联性。得到模型之间的权重，找到并更正了不合理数据。同时根据大数定理，抛弃关联性较低的模型所产生的数据。最终通过非线性变换得到满足题目要求的综合评分。
关键词：GPT 学术优化 大语言模型 大模型微调 多组数据协同处理
3.2 第二篇31页论文
摘要
近年来我国各类不同领域的学科竞赛争先涌现出来，随着参赛队伍的壮大，评阅论文的工作量急剧增加，评阅论文的人力不足的问题成为了现今竞赛主办方亟待解决的问题，而引入人工智能辅助评阅是解决问题的重要突破口，本文通过使用python语言构造论文质量特征，从而形成竞赛论文辅助评分的评分模型。
针对问题一，本文主要根据题目要求构造四个论文质量特征，然后根据整篇论文的四个评价指标对论文进行评价得分，每个指标得分范围在0-10分。
针对论文的完整性评价，本文首先使用pdfminer库定义读取论文文本的功能函数，然后定义标准的竞赛论文结构：“摘要”, “目录”, “问题重述”, “假设条件”, “符号说明”, “模型建立”, “模型求解”, “结论”, “参考文献”, "附录"共十个章节，使用jieba库对每篇竞赛论文进行分词，抓取论文中存在的章节，然后与标准的竞赛论文结构进行比对，每匹配成功一次则加一分，总共十分，最终得到每一篇论文的完整性评价得分，该得分多数分布在4-6分，最高为8分。
针对论文有无实质性工作，本文首先合并四大停用词表并去重后作为本文使用的停用词表，然后使用re库和gensim库中的FastText词向量模型获取赛题评阅要点关键词，并且按照权重取出前10个重要关键词，再融合TextRank、TF-IDF和Word2Vec词向量模型提取论文的关键词，然后通过IF-IDF模型对关键词向量化并计算论文关键词与要点关键词的余弦相似度，最后把余弦相似度归一化为0-10分作为论文实质性工作的评价得分，该得分主要分布在5-6分，最高为7.05分。
针对论文摘要质量，本文首先通过re库和pdfminer库对论文摘要和论文正文进行提取，然后使用谷歌预训练（寻参的并训练好的模型）的word2Vec词向量模型和TF-IDF模型的融合模型把摘要关键词和正文关键词转化为词向量再对两者进行余弦相似度计算，最后把余弦相似度转化为3-10分，3分保底分是为了避免摘要存在但模型没能识别到的情况，最后论文摘要质量评价得分平均分为4.3分，最高分7.32分。
**针对论文写作水平评价，**本文对论文语句和语义、论文图表、摘要规范性、论文文本结构以及论文主题进行分析评价，首先使用Stanza 自然语言处理工具包对论文语句和语义进行评价，然后借助spacy库和正则表达式查找符合特定格式的图表标注从而评估图表使用的规范性，再在定义衔接词后利用spacy自然语言处理模型对论文的文本结构连贯性进行分析，然后再使用TF-IDF特征模型和KMean聚类模型分析论文的主题、论点论据、论证关系及结构信息并与赛题评阅要点计算相似度，相似度越高该方面评价得分越高，最后综合四个方面并按照4：2：2：2的比例对论文写作水平进行评价得分，评价得到最高分为10分。
针对问题二，本文根据第一问构造的各项评分指标建立一个适合竞赛论文整体评分的评分模型，评分模型严格按照题目限制条件综合各项评价指标进行评分，按照论文完整性评价占比20%、写作水平评价占比15%、论文有无实质性工作评价占比35%、摘要质量评价占比30%的比例建立综合评分模型，综合评分结果各得分区间占比如下：8-10分的2.62%；6-7分的10.16%，6-10分的13.93%；4-5分的20.33%，4-10分的34.75%；0-3分的65.25%，然后结合正态性检验与实际情况分析得出论文综合得分结果是可靠且合理的，最后将每篇论文的各项评价指标和综合得分保存到result.xslx文件中，实现辅助竞赛论文评分，达到初步筛选优劣论文的效果，研究发现综合得分最高的论文是：C227.pdf:10分。
关键词：Word2Vec词向量模型、TF-IDF算法、spacy模型、KMean聚类
