1. Beyond Text-to-Text: An Overview of Multimodal and Generative Artificial Intelligence for Education Using Topic Modeling
Authors: Ville Heilala, Roberto Araya, Raija H"am"al"ainen
https://arxiv.org/abs/2409.16376
超越文本到文本：使用主题建模概述教育中多模态和生成式人工智能
摘要
本研究使用主题建模方法，映射了教育中多模态和生成式人工智能（GenAI）的研究现状。通过Dimensions.ai进行广泛的文献搜索，得到4175篇文章。采用主题建模方法提取潜在主题，得出38个可解释的主题，组织成14个主题区域。研究发现在教育背景下，文本到文本模型的研究占主导地位，而其他模态的研究相对较少，忽视了多模态方法的更广泛潜力。研究结果表明存在研究空白，强调了在不同AI模态和教育层次上给予更平衡关注的重要性。
研究背景
随着人工智能（AI）在教育领域的应用不断深入，大型语言模型（LLMs）如ChatGPT等在教育研究中占据主导地位。与此同时，多模态能力（如文本到语音、文本到图像）的研究相对较少。本研究旨在通过主题建模方法，综合研究文献，以回答以下研究问题：多模态方法和教育中的生成式AI的高级研究现状是什么？
问题与挑战
当前教育领域的AI研究主要集中在文本到文本模型，而对其他模态（如文本到语音、文本到图像）的研究相对较少。这忽视了多模态方法在教育中的更广泛潜力。
如何解决
研究者使用Dimensions.ai进行广泛的文献搜索，并采用BERTopic方法进行主题建模，以提取文本语料库中的潜在主题。通过这种方法，研究者能够识别和组织教育中多模态和生成式AI的主要研究主题和领域。
创新点
- 多模态和生成式AI的综合研究：本研究不仅关注文本到文本模型，还涵盖了文本到语音、文本到图像等多种模态，提供了一个更全面的视角。
- 主题建模方法的应用：使用BERTopic进行主题建模，这是一种新颖的方法，能够生成新的见解并编码上下文信息。
算法模型
- BERTopic：一种基于Transformer的句子变换器和嵌入的方法，用于生成主题模型。
- UMAP：用于降维。
- HDBSCAN：用于聚类。
实验效果
- 数据集：4175篇文章，95%的文章发表于2014年之后。
- 主题数量：最终确定了38个可解释的主题，组织成14个主题区域。
- 重要数据与结论：文本到文本模型在教育研究中占主导地位，而其他模态如文本到语音、文本到图像等的研究相对较少。
推荐阅读指数
8/10
推荐理由
这篇文章提供了教育领域中多模态和生成式AI应用的全面概述，对于希望了解这一领域最新研究动态的学者和实践者来说有参考价值。
2. Design and Evaluation of a CDSS for Drug Allergy Management Using LLMs and Pharmaceutical Data Integration
Authors: Gabriele De Vito, Filomena Ferrucci, Athanasios Angelakis
https://arxiv.org/abs/2409.16395
利用大型语言模型和药品数据集成的药品过敏管理临床决策支持系统的设计和评估
摘要
药品错误显著威胁患者安全，导致不良药物事件（ADEs）和医疗系统的巨大经济负担。针对药品过敏管理的临床决策支持系统（CDSS）通常面临包括依赖静态数据库和基于规则的算法等限制，这可能导致高误报率和临床医生的警报疲劳。本文介绍了HELIOT，一个创新的药品过敏管理CDSS，它整合了大型语言模型（LLMs）和全面的药品数据仓库。HELIOT利用先进的自然语言处理能力来解释复杂的医学文本和综合非结构化数据，克服了传统CDSS的限制。使用合成患者数据集和专家验证的基准真相进行的实证评估表明，HELIOT在多次实验中达到了100%的准确性、精确性、召回率和F1分数。结果强调了HELIOT在临床环境中增强决策支持的潜力，为管理药品过敏提供了一个可扩展、高效和可靠的解决方案。
研究背景
药品错误是导致患者安全风险和不良药物事件的主要原因，给医疗系统带来经济负担。临床决策支持系统（CDSS）通过提供基于证据的建议和警报来帮助预防潜在的ADEs。然而，传统CDSS通常依赖于静态数据库和基于规则的算法，可能无法捕捉到个别患者病例的细微差别或最新的医学知识。
问题与挑战
现有CDSS解决方案通常无法解决个体患者病例的特殊性和医学知识的动态性。此外，传统基于规则的CDSS可能导致高误报率和警报疲劳。
如何解决
HELIOT CDSS通过整合大型语言模型（LLMs）和全面的药品数据仓库，利用先进的自然语言处理能力来解释复杂的医学文本和综合非结构化数据。
创新点
- 先进的自然语言处理能力：利用LLMs来理解和解释复杂的医学文本。
- 集成药品数据仓库：与大型药品数据仓库集成，以获取最新的医学知识和患者特定信息。
- 人工审核：通过医生验证的基准真相进行实证评估，确保系统的准确性和实用性。
算法模型
- LLMs：使用GPT-4等大型语言模型进行文本解释和数据综合。
- TileDB：用于存储和检索药品相关信息的多维数组数据库。
- API应用：提供RESTful服务，处理请求和响应。
实验效果
- 准确性：100%
- 精确性：100%
- 召回率：100%
- F1分数：100%
- 执行时间：平均3.2秒/患者
推荐阅读指数
9/10
推荐理由
这篇文章提供了一个创新的CDSS解决方案，利用最新的LLMs技术来提高药品过敏管理的准确性和效率。对于医疗IT领域的专业人士和研究人员来说，这是一篇值得阅读的文章。
3. Unsupervised Text Representation Learning via Instruction-Tuning for Zero-Shot Dense Retrieval
Authors: Qiuhai Zeng, Zimeng Qiu, Dae Yon Hwang, Xin He, William M. Campbell
https://arxiv.org/abs/2409.16497
通过指令调整无监督文本表示学习用于零样本密集检索
摘要
本文介绍了一种通过指令调整预训练的编码器-解码器大型语言模型（LLM），在无监督条件下增强语料库表示的新方法。该方法在双编码器检索框架下，利用Rao-Blackwell定理，通过生成相关的合成查询来增强语料库表示。实验结果表明，在低资源环境下，该方法在三个英语和一个德语检索数据集上显著提高了零样本检索性能。
研究背景
密集检索系统通常依赖于通过编码器学习文本表示，这通常需要通过标记数据进行监督建模，而这些数据可能难以获得或不可用。现有的工作利用预训练的大型编码器来缓解数据需求，但仍然需要注释数据集进行微调。
问题与挑战
在缺乏标记建模数据的情况下，如何有效地检索信息是一个主要挑战。
如何解决
通过指令调整预训练的LLM来生成合成查询，然后将这些合成查询的嵌入与原始语料库嵌入进行加权平均，以增强语料库表示。
创新点
- 指令调整：通过指令调整来提高LLM生成与语料库相关的合成查询的能力。
- Rao-Blackwell化：利用Rao-Blackwell定理来改进语料库嵌入的估计。
- 无监督学习：在没有标记数据的情况下进行有效的文本表示学习。
算法模型
- LLM：使用预训练的编码器-解码器大型语言模型。
- 指令调整：通过指令调整来微调LLM，以生成更相关的合成查询。
- 加权平均：将合成查询的嵌入与原始语料库嵌入进行加权平均，以增强语料库表示。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-01（下）+https://developer.aliyun.com/article/1628926
