计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-12（上）+https://developer.aliyun.com/article/1628805
算法模型
- 研究中使用了OpenAI的gpt-4o模型作为Covidence平台的插件，辅助进行文献筛选和数据提取。
- 使用ChatGPT清理提取的数据，并生成本文中的图表代码。
- 利用ChatGPT和Scite.ai起草了本文的所有组成部分，除了方法和讨论部分。
实验效果
- 检索到3,788篇文章，最终172项研究符合最终审查条件。
- ChatGPT和基于GPT的LLM成为自动化审查中最占主导地位的架构（n=126, 73.2%）。
- 尽管发现了许多审查自动化项目，但实际在创建过程中使用LLM的论文数量有限（n=26, 15.1%）。
- 多数引用集中在审查的特定阶段，如搜索出版物（n=60, 34.9%）和数据提取（n=54, 31.4%）。
- 在比较基于GPT和BERT模型的综合性能时，GPT模型在数据提取方面表现更好，平均精度为83.0%，召回率为86.0%，而在标题和摘要筛选阶段的准确性略低（Maccuracy=77.3% vs Maccuracy=80.9%）。
结论
- 本LLM辅助系统综述揭示了大量与LLM审查自动化相关的研究项目。
- 结果看起来很有前景，预计LLM将在未来改变科学综述的进行方式，显著减少生成文献系统综述所需的时间，并扩展系统综述在指导科学中的应用方式。
6. Exploring the Answering Capability of Large Language Models in Addressing Complex Knowledge in Entrepreneurship Education
Q Lang, S Tian, M Wang, J Wang - IEEE Transactions on Learning Technologies, 2024
摘要
- 本文探索了大型语言模型（LLMs）在解决创业教育中复杂知识问题方面的应答能力。
- 研究旨在评估LLMs在理解和生成与创业教育相关的复杂知识方面的有效性。
- 通过一系列实验，文章分析了LLMs在处理多步骤问题解答、概念解释和案例分析等任务上的表现。
算法模型
- 文章中可能介绍了使用的具体大型语言模型，如GPT、BERT或其他先进的模型。
- 可能描述了模型的架构、训练过程以及如何针对创业教育领域的复杂知识进行优化。
实验效果
- 实验可能包括了一系列测试，以评估LLMs在回答创业教育相关问题时的准确性、可靠性和深度。
- 结果可能展示了LLMs在理解复杂概念、提供详细解释和进行案例分析方面的能力。
- 可能还包括了与人类专家的比较，以评估LLMs的性能与专业水平的对比。
结论
- 文章可能得出结论，LLMs在处理创业教育领域的复杂知识问题上具有潜力，但仍存在局限性。
- 可能强调了进一步研究和模型改进的必要性，以提高LLMs在教育领域的应用效果。
7. Revolutionizing Database Q&A with Large Language Models: Comprehensive Benchmark and Evaluation
Y Zheng, B Li, Z Lin, Y Luo, X Zhou, C Lin, J Su, G Li… - arXiv preprint arXiv …, 2024
这篇论文的主要研究内容包括：
- 背景与动机：随着大型语言模型（LLMs）的发展，它们在各个行业的问答（Q&A）系统中发挥了革命性的作用，包括数据库领域。然而，目前缺乏一个全面的基准测试来评估不同LLMs及其模块组件在数据库Q&A中的能力。
- DQA基准测试：为了解决这一问题，论文介绍了DQA（Database Question-Answer），这是第一个全面的数据库Q&A基准测试。DQA通过创新的基于LLM的方法自动化生成、清洗和重写数据库Q&A对，涵盖了超过240,000个中英文Q&A对，覆盖了几乎所有数据库知识领域。
- LLM数据库Q&A测试平台：论文提出了一个基于DQA的全面LLM数据库Q&A测试平台，该平台高度模块化和可扩展，包括基本和高级组件，如问题分类路由（QCR）、检索增强生成（RAG）、工具调用生成（TIG）和提示模板工程（PTE）。
- 评估流程：DQA提供了一个完整的评估流程，包括多种指标和标准化的评估过程，以确保全面性、准确性和公平性。
- 实验与发现：使用DQA对提出的测试平台下的数据库Q&A能力进行了全面评估。评估揭示了不同LLM基础的Q&A机器人的优势和局限性，以及各种服务组件（如QCR、RAG、TIG）的性能影响和潜在改进。
- 贡献：论文的主要贡献包括提出了数据库Q&A领域的第一个基准数据集DQA，提出了一个可插拔的测试平台来实验不同的LLM应用策略，提出了标准化的评估流程，以及在DQA上实现了各种LLM和辅助模块，并对其进行了全面评估。
这篇论文的目标是为基于LLM的数据库Q&A研究的未来发展方向提供指导。
8. Large Language Models in Drug Discovery and Development: From Disease Mechanisms to Clinical Trials
Y Zheng, HY Koh, M Yang, L Li, LT May, GI Webb… - arXiv preprint arXiv …, 2024
大语言模型在药物发现和开发中的应用：从疾病机制到临床试验
摘要
本文综述了大型语言模型（LLMs）在药物发现和开发领域的应用，标志着这一领域的重大范式转变。LLMs为理解疾病机制、促进药物发现和优化临床试验流程提供了新的方法论。文章探讨了这些先进的计算模型如何在药物开发流程的各个阶段发挥作用，包括揭示目标疾病联系、解释复杂的生物医学数据、增强药物分子设计、预测药物的疗效和安全性，以及促进临床试验流程。
算法模型
- 专用语言模型：针对特定科学语言训练，用于解释科学数据。
- 通用语言模型：在广泛的文本信息上训练，包括科学论文和教科书，能够理解人类语言，包括科学背景。
实验效果
- 疾病机制理解：LLMs能够通过文献综述和专利分析来探索疾病相关的生物途径，识别潜在的药物靶点。
- 药物发现：LLMs在药物发现和开发阶段展现出自动化化学实验的潜力，通过理解化学反应来控制机器人设备。
- 临床试验：LLMs能够通过解释患者档案和试验要求来简化患者与试验匹配和试验设计的任务。
总结
- LLMs在药物发现和开发中的应用前景广阔，能够显著提高药物开发流程的效率和能力。随着- - LLMs技术的不断进步，预计未来药物发现将包括高度自动化的LLM应用，从而实现更快速、更精确的药物开发流程。
9. Benchmarking Chinese Knowledge Rectification in Large Language Models
T Lu, J Fang, Y Yao, X Xu, N Zhang, H Chen - arXiv preprint arXiv:2409.05806, 2024
大语言模型在中文知识纠错中的应用：基准测试与评估
摘要
- 本文介绍了一个针对大型语言模型（LLMs）在中文知识纠错方面的基准测试。研究者们提出了一个新的中文数据集CKnowEdit，通过收集包括古典文献、成语、百度贴吧弱智吧内容等七种类型的中文知识，以解决LLMs在处理中文古诗、成语或谚语时可能出现的胡言乱语问题。研究结果揭示了当前LLMs在掌握中文方面所面临的挑战，并评估了最新的知识编辑技术在该数据集上的表现，显示出在中文知识纠错方面有显著的提升空间。
算法模型
- 知识编辑技术：通过知识编辑，使LLMs能够生成更准确、连贯和可信的内容。
- 数据集构建：CKnowEdit数据集，包含1,760个实例，涵盖七种中文特定类型的知识，如古诗、成语、谚语等。
- 评估指标：编辑成功率、可移植性、局部性和流畅性。
实验效果
- 编辑成功率：AdaLoRA方法和PROMPT方法在编辑成功率方面表现较好。
- 可移植性：AdaLoRA方法在使模型能够将编辑后的知识有效迁移到相关上下文方面表现最佳。
- 局部性：FT-M、ROME和GRACE方法在确保编辑不会影响模型知识库中不相关领域的表现方面效果较好。
- 流畅性：不同知识类型和方法之间存在差异，Qwen-7B-Chat模型相比Baichuan2-7B-Chat模型在流畅性方面表现更好。
总结
CKnowEdit数据集为中文知识纠错提供了一个基准测试，揭示了LLMs在理解和生成中文内容时的局限性。实验结果表明，现有的知识编辑方法在中文知识纠错方面还有很大的提升空间，尤其是在处理中文特有的语言和文化现象时。未来的研究需要开发更适应中文语言特点的知识编辑技术，以提高LLMs在中文领域的实用性和准确性。
10. Investigating the Role of Cultural Values in Adopting Large Language Models for Software Engineering
S Lambiase, G Catolino, F Palomba, F Ferrucci… - arXiv preprint arXiv …, 2024
大语言模型在软件工程中采用的文化价值观研究
摘要
本文探讨了在软件工程中采用大型语言模型（LLMs）的过程中，专业人员的文化价值观所扮演的角色。研究基于统一接受和使用技术理论（UTAUT2）和霍夫斯泰德的文化维度，假设文化价值观会调节UTAUT2框架内的关系。通过使用偏最小二乘-结构方程建模（PLS-SEM）和来自188名软件工程师的数据，研究发现习惯和绩效期望是LLM采用的主要驱动因素，而文化价值观并没有显著调节这一过程。这些发现表明，通过强调LLM如何提高性能和效率，组织可以鼓励其使用，无论文化差异如何。实际步骤包括提供培训计划以展示LLM的好处，创建支持常规使用的环境，以及持续跟踪和分享使用LLM带来的性能改进。
算法模型
- UTAUT2：统一接受和使用技术理论，用于解释用户对技术的接受意图和行为。
- 霍夫斯泰德文化维度：用于概念化参与者的文化背景，包括权力距离、个人主义与集体主义、男性化与女性化、避免不确定性、长期导向和宽容度。
- PLS-SEM：偏最小二乘-结构方程建模，用于分析观察到的和潜在变量之间的复杂关系。
实验效果
- 绩效期望：对软件工程师采用LLM的意图有积极影响。
- 努力期望：对软件工程师采用LLM的意图没有显著影响。
- 社会影响：对软件工程师采用LLM的意图没有显著影响。
- 促进条件：对软件工程师采用LLM的实际使用行为有积极影响。
- 习惯：对软件工程师采用LLM的意图和实际使用行为都有积极影响。
- 文化价值观：包括权力距离、避免不确定性、个人主义与集体主义、男性化、长期导向，但没有显著调节采用LLM的过程。
总结
研究结果表明，在软件工程领域采用LLMs的过程中，文化价值观并不是一个显著的调节因素。相反，个体和组织因素，如习惯、绩效期望、促进条件和行为意图，对LLM的采用有更大的影响。研究建议组织应该通过提供培训、展示LLM的好处、创建支持性环境和持续跟踪性能改进来鼓励LLM的使用。此外，研究还指出，未来的研究可以进一步探索文化价值观在技术采用中的作用，并开发更适应中文语言特点的知识编辑技术。
