计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-09-30（上）+https://developer.aliyun.com/article/1628921
重要数据与结论：
- LLMs已经开始在AI领域引发范式革命，改变了学术界的写作风格。
- 尽管LLMs在机器学习会议演讲中的痕迹尚处于初期阶段，但在学术写作中的影响已经非常明显，并可能在未来变得更加深刻。
推荐阅读指数：
7/10
推荐理由：
这篇论文提供了对LLMs在学术界写作和演讲中影响的深入分析，对于理解LLMs如何改变人类的交流方式具有重要意义。
4. Are Large Language Models Good Essay Graders?
A Kundu, D Barbosa - arXiv preprint arXiv:2409.13120, 2024
https://arxiv.org/pdf/2409.13120
大型语言模型是否是优秀的作文评分员？
摘要：
本文评估了大型语言模型（LLMs）在评估文章质量方面的有效性，特别关注它们与人工评分的一致性。具体来说，我们评估了 ChatGPT 和 Llama 在自动作文评分（AES）任务中的表现，这是自然语言处理（NLP）在教育领域的一项关键应用。我们考虑了零样本和少样本学习以及不同的提示方法。我们使用 ASAP 数据集，一个著名的 AES 任务基准，来比较 LLMs 提供的数值分数与人工评分员提供的分数。我们的研究表明，与人工评分员相比，LLMs 通常给出较低的分数，并且这些分数与人工评分的一致性不高。特别是，ChatGPT 倾向于比 Llama 更苛刻，与人工评估的一致性更差。我们还尝试了以前 AES 方法中常用的一些文章特征，包括长度、连接词和过渡词的使用，以及可读性指标，包括拼写和语法错误的数量。我们发现，通常这些特征与人工或 LLMs 分数的相关性都不强。我们指出，其中一些特征与评分标准密切相关，包括 ASAP 数据集中的标准，这表明人工评分员在评分时经常忽略了评分标准的某些方面。实际上，我们观察到，一般来说，无论拼写和语法错误如何，较长的文章使用更多的连接词往往会获得更高的分数。另一方面，两种 LLMs 不仅能够可靠地检测到拼写和语法错误，而且在计算分数时似乎也会考虑这些错误，这进一步使它们与人工评分拉开了距离。最后，我们报告了 Llama-3 的结果，总体上表现更好，这是意料之中的。总体而言，虽然 LLMs 似乎不是人工评分的合适替代品，但我们的结果对于它们未来作为辅助人类评分书面文章的工具是有些鼓舞人心的。
研究背景：
由学生评估组成的论文写作在教育中起着关键作用，它为洞察学生的文本理解、批判性思维和沟通技能提供了见解。写作好的论文要求学生清晰、连贯地表达他们的想法，展示他们对主题的理解以及构建逻辑论证的能力。传统的论文评分大多由人工评分员完成，但这种方法在现代教育环境中面临挑战，尤其是在远程教育中，远程教育促进了学习的民主化。此外，全球教师短缺是一个真实且日益严重的问题。
问题与挑战：
人工评估耗时且费力，可能导致评分员疲劳和不一致性。人们越来越关注如何有效地自动化论文评分过程，以减轻教育者的负担，并提供更一致、高效的评估。
如何解决：
研究者们探索了使用大型语言模型（LLMs）作为自动作文评分（AES）工具的可能性。这些模型在处理和理解人类语言方面表现出色，能够在没有明确训练的情况下完成各种语言任务。
创新点：
- 直接比较了 LLMs 在 AES 任务中的表现与人工评分员的评分，特别是在教育领域的应用。
- 考虑了零样本和少样本学习，以及不同的提示方法，来评估 LLMs 在 AES 任务中的性能。
- 分析了 LLMs 分数与多种文章特征之间的相关性，包括文章长度、连接词使用、可读性指标和语言错误。
算法模型：
- LLMs：评估了两个流行的 LLMs，ChatGPT 和 Llama，作为自动作文评分工具。
- ASAP 数据集：使用 ASAP 数据集，一个著名的 AES 任务基准，来比较 LLMs 提供的数值分数与人工评分员提供的分数。
实验效果：
- LLMs 通常给出比人工评分员更低的分数，并且这些分数与人工评分的相关性不强。
- ChatGPT 比 Llama 更苛刻，与人工评估的一致性更差。
- LLMs 能够可靠地检测到拼写和语法错误，并且在计算分数时考虑这些错误。
- Llama-3 的结果总体上表现更好。
重要数据与结论：
- LLMs 的分数与人工评分的相关性不强，表明它们在评估作文质量时可能无法完全替代人工评分员。
- LLMs 在检测语言错误方面表现出色，但它们在评估文章的逻辑和论证质量方面可能不如人工评分员。
推荐阅读指数：
7/10
推荐理由：
这篇文章为理解大型语言模型在教育评估领域的应用提供了有价值的见解，尤其是在自动作文评分任务中。它揭示了 LLMs 在评分一致性和准确性方面的潜力和局限性。
5. Past Meets Present: Creating Historical Analogy with Large Language Models
N Li, S Yuan, J Chen, J Liang, F Wei, Z Liang, D Yang… - arXiv preprint arXiv …, 2024
过去与现在相遇：利用大型语言模型创造历史类比
摘要
本文探讨了历史类比的获取任务，即寻找与给定事件相似的历史事件。研究者们基于不同的大型语言模型（LLMs），探索了检索和生成方法来获取历史类比，并提出了一种自我反思方法来减少LLMs生成历史类比时的幻觉和刻板印象。通过人工评估和特别设计的自动多维评估，研究发现LLMs在历史类比方面具有很好的潜力，并且可以通过使用自我反思方法进一步提高模型性能。
研究背景
历史类比是一种重要的能力，它通过比较已知的过去事件和当代不熟悉的事件来帮助人们做决策和理解世界。然而，人们发现找到合适的历史类比是有难度的，以往的AI研究也忽略了这一点。
问题与挑战
- 如何自动生成具有历史意义的类比。
- 如何确保生成的历史类比既准确又具有启发性。
- 如何减少大型语言模型在生成历史类比时可能出现的错误信息和刻板印象。
如何解决
研究者们提出了基于LLMs的两种主要方法：数据集检索方法和自由生成方法。此外，还引入了自我反思框架，包括候选生成器和答案反思器，以迭代过程生成历史类比。
创新点
- 提出了历史类比获取任务，并基于LLMs探索了检索和生成方法。
- 开发了一种新的自动多维评估指标，从认知角度评估历史类比。
- 提出了自我反思方法，以减少LLMs生成历史类比时的幻觉和刻板印象。
算法模型
- 数据集检索方法：使用LLMs从指定数据集中检索历史事件。
- 自由生成方法：指导LLMs自主生成类似的历史事件。
- 自我反思方法：包括候选生成器和答案反思器两个模块，通过迭代过程生成历史类比。
实验效果
- 流行类比：LLMs在流行类比上的表现优于一般类比。
- 自由生成方法：与数据集检索方法相比，自由生成方法平均提高了0.25。
- 自我反思方法：在两种开源和封闭源模型上都取得了最高结果。
- 人工评估：自我反思方法获得了最高的排名分数和最优选择的百分比。
推荐阅读指数
★★★★☆
推荐理由
这篇文章在AI领域具有创新性，特别是在利用大型语言模型进行历史类比生成方面。对于对AI、历史类比、文本生成感兴趣的研究者和开发者来说，这是一篇值得一读的论文。
6. Enhancing Advanced Visual Reasoning Ability of Large Language Models
Z Li, D Liu, C Zhang, H Wang, T Xue, W Cai - arXiv preprint arXiv:2409.13980, 2024
https://arxiv.org/pdf/2409.13980
提升大型语言模型的高级视觉推理能力
摘要
本文提出了一种新的方法，名为复杂视觉推理大型语言模型（CVR-LLM），旨在结合视觉-语言模型（VLMs）的视觉感知能力和大型语言模型（LLMs）的广泛推理能力。CVR-LLM通过将图像转化为详细的、上下文感知的描述，并利用LLMs的文本知识进行准确预测，无需额外训练。此外，提出了一种新的多模态即时学习（ICL）方法来增强LLMs的上下文理解和推理能力。实验结果显示，CVR-LLM在多个复杂视觉推理任务中达到了最先进的性能。
研究背景
随着视觉-语言（VL）研究的进展，对模型进行复杂视觉推理的能力提出了新的挑战。传统的VL模型在视觉感知任务上表现良好，但在复杂推理场景中表现不佳。相反，大型语言模型（LLMs）表现出强大的文本推理能力，但缺乏视觉敏锐性。
问题与挑战
- 如何结合VLMs的视觉感知能力和LLMs的文本推理能力。
- 如何有效地利用图像的详细描述来增强LLMs的推理过程。
- 如何在不增加额外训练成本的情况下，提高模型在复杂视觉推理任务上的性能。
如何解决
- 提出了一种基于“VLMs + LLMs”概念的新方法，通过迭代自优化循环将图像转化为上下文感知的图像描述。
- 开发了一种新的多模态即时学习（ICL）方法，增强了LLMs在复杂多模态环境中的推理能力。
- 引入了链式比较（Chain-of-Comparison, CoC）技术，以更细致地评估抽象概念。
创新点
- 提出了CVR-LLM框架，将图像转化为详细的、上下文感知的描述，无需额外训练即可利用LLMs的知识进行推理。
- 开发了一种新的多模态即时学习（ICL）方法，提高了LLMs在复杂视觉推理任务中的性能。
- 引入了CoC技术，提供了一种新的评估抽象概念的方法。
算法模型
- 上下文感知图像描述（CaID）：通过迭代自优化循环生成详细的图像描述。
- 复杂视觉推理即时学习（CVR-ICL）：通过评估相关案例并选择适合的复杂多模态示例来增强LLMs的上下文理解和推理。
实验效果
- 在WinoGAViL、Winoground、Whoops、VCR和NYCCC五个复杂视觉推理任务上达到了最先进的性能。
- 实验结果显示，CVR-LLM在多个任务中的表现超过了现有的SOTA模型。
推荐阅读指数
★★★★☆
推荐理由
这篇文章提出了一种创新的方法来提升大型语言模型在复杂视觉推理任务中的性能，对于从事视觉-语言研究和多模态学习的研究人员和开发者来说，这是一篇值得一读的论文。
后记
如果您对我的博客内容感兴趣，欢迎三连击(点赞，关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习，计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。
