计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-02
1. APM: Large Language Model Agent-based Asset Pricing Models
Authors: Junyan Cheng, Peter Chin
https://arxiv.org/abs/2409.17266
APM: 基于大型语言模型的代理资产定价模型（LLM Agent-based Asset Pricing Models, AAPM）
摘要：
在本研究中，我们提出了一种新颖的资产定价方法，即基于大型语言模型（LLM）代理的资产定价模型（AAPM），它融合了LLM代理的定性自由裁量投资分析和定量手工金融经济因素，以预测资产的超额回报。实验结果显示，我们的方法在投资组合优化和资产定价误差方面，超过了基于机器学习的资产定价基线。具体来说，异常投资组合的夏普比率和平均绝对α系数分别显著提高了9.6%和10.8%。此外，我们对模型进行了广泛的消融研究，并深入分析了数据，以揭示所提方法的进一步洞见。
研究背景：
金融资产定价一直是实证金融经济学研究的焦点。当前的资产定价方法依赖于精心设计的宏观经济指标或公司特定因素作为未来超额回报的预测因子。然而，这些方法受到了有效市场假说（EMH）的挑战，该假说认为在有效市场中，当预测因子被市场参与者完全发现和使用时，这些手工因素最终将失去其预测能力。
问题与挑战：
尽管定量模型在现实市场中取得了巨大成功，但它们在解释资产回报异常方面仍存在挑战。此外，即使结合了当前的自然语言处理（NLP）和语义分析方法，定量因子模型也未能完全捕捉到定性分析中的洞察力。
如何解决：
本研究引入了一种新颖的资产定价方法，即LLM代理的资产定价模型（AAPM），它融合了由LLM代理模拟的自由裁量投资分析和基于定量因子的方法。AAPM利用LLM代理迭代分析最新新闻，并结合先前分析报告的记忆和包含书籍、百科全书和期刊的知识库。
创新点：
- 提出了一种新颖的LLM代理架构，用于分析商业新闻，以获取自由裁量投资洞察作为定价信号。
- 提出了一种混合资产定价框架，结合了定性自由裁量分析和定量手工因素。
- 进行了全面的实验，以评估所提出方法的有效性，并深入分析了各个组成部分。
算法模型：
AAPM模型使用LLM代理来迭代分析输入的新闻，并生成分析报告。这些定性分析报告与定量手工因素结合，输入到混合资产定价网络中。该网络使用平均平方误差（MSE）准则进行训练，以最小化预测回报和实际回报之间的平均平方差。
实验效果：
实验结果显示，AAPM在投资组合优化方面取得了最高夏普比率，并在资产定价误差方面实现了最低的平均绝对α系数。此外，该方法在统计显著性测试中也表现良好。
重要数据与结论：
- 夏普比率提高了9.6%。
- 资产定价误差的平均绝对α系数提高了10.8%。
- 在投资组合优化和资产定价误差方面超过了现有的基于机器学习的资产定价方法。
推荐阅读指数：
★★★★☆
推荐理由：
这篇文章提出了一种创新的资产定价方法，通过结合定性和定量分析，提高了预测资产超额回报的准确性。这对于金融领域的研究人员和从业者来说都是一个有价值的贡献，因为它提供了一种新的视角来理解和改进资产定价模型。
2. Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning
Authors: Debargha Ganguly, Srinivasan Iyengar, Vipin Chaudhary and Shivkumar Kalyanaraman
https://arxiv.org/abs/2409.17270
思维的证明：神经符号程序合成实现鲁棒和可解释的推理
摘要：
本研究介绍了“思维的证明”（PROOF OF THOUGHT，PoT），这是一个增强大型语言模型（LLMs）输出的可靠性和透明度的框架。PoT通过将LLM生成的想法与形式逻辑验证相结合，使用定制的解释器将LLM输出转换为一阶逻辑构造，供定理证明器检查。该方法的核心是一种基于JSON的领域特定语言（DSL），它通过设计在精确的逻辑结构和直观的人类概念之间取得了平衡。这种混合表示不仅使LLM的推理过程可以接受严格的验证，而且易于人类理解。主要贡献包括增强逻辑完整性的鲁棒类型系统、用于清晰区分事实和推理知识的显式规则表示，以及允许轻松扩展到各种特定领域应用的灵活架构。通过在StrategyQA和一个新的多模态推理任务上的基准测试，展示了PoT在开放式场景中的有效性。通过提供可验证和可解释的结果，该技术解决了AI系统责任性的关键需求，并为高风险领域的人工监督奠定了基础。
研究背景：
大型语言模型（LLMs）已经在人工智能领域引起革命，但它们在处理新颖领域和复杂逻辑序列时的推理能力仍然不一致。这种不一致性表现在跨域推理、否定理解和扩展逻辑链的变量性能上，表明它们依赖于表面的启发式方法。在高风险领域，这种错误或偏见可能带来严重后果，强调了对更可靠和可解释AI系统的迫切需求。
问题与挑战：
尽管LLMs在性能上取得了进展，但它们的推理机制仍然不透明，导致在现实世界使用中存在盲点，因为失败模式尚不清楚。根本问题在于LLM推理过程缺乏可解释性和保证的可验证性。
如何解决：
PoT框架通过将自然语言处理与形式逻辑推理相结合来解决这些挑战，提供了一个用于人工监督和验证的框架。
创新点：
- 提出了一种新颖的方法，利用LLM的上下文学习和代码生成能力，同时结合它们固有的知识。
- 引入了一个基于JSON的DSL和相关的解释器，它使用直观的、接近英语语言结构的抽象概念进行操作。
- 通过在StrategyQA和一个新的多模态长尾推理问题上的基准测试，展示了PoT在复杂和多样化任务上的有效性。
算法模型：
PoT框架包括三个主要组件：逻辑表示生成器、解释器和定理证明器。逻辑表示生成器将输入映射到逻辑表示，解释器解析这些表示并构造一阶逻辑表达式，最后定理证明器验证这些表达式的有效性。
实验效果：
- 在StrategyQA数据集上，PoT在1000个问题样本上进行了评估，成功编译和执行了82.4%的问题，显示出反馈机制在解决生成逻辑表示中的问题方面的有效性。
- 在多模态Reddit-OSHA基准测试中，PoT显著减少了编译错误，并提高了编译程序的胜率。
重要数据与结论：
PoT通过提供可验证和可解释的结果，解决了AI系统责任性的关键需求，并为高风险领域的人工监督奠定了基础。
推荐阅读指数：
★★★★☆
推荐理由：
这篇文章提出了一种创新的方法，通过结合LLM的灵活性和形式逻辑的严格性，为可信赖的推理提供了解决方案。它通过增强可解释性并提供推理保证，解决了AI系统责任性和可靠性的关键挑战。
3. Search for Efficient Large Language Models
Authors: Xuan Shen, Pu Zhao, Yifan Gong, Zhenglun Kong, Zheng Zhan, Yushu Wu,
Ming Lin, Chao Wu, Xue Lin, Yanzhi Wang
https://arxiv.org/abs/2409.17372
寻找高效的大型语言模型
摘要：
大型语言模型（LLMs）在人工智能研究领域长期占据主导地位。为了减少内存和加速推理，人们采用了多种高效技术，如权重剪枝、量化和蒸馏，来压缩LLMs，这些技术凸显了LLMs中的冗余性。然而，大多数模型压缩技术集中在权重优化上，忽视了最佳架构的探索。此外，传统的架构搜索方法由于复杂性高和参数众多，在LLMs上的应用受到限制。在本文中，我们提出了一个无需训练的架构搜索框架，以识别最优子网，这些子网在保持原始LLMs基本优势的同时实现推理加速。此外，生成继承原始LLMs特定权重的子网后，我们引入了一种利用少量校准数据修正继承权重的重构算法。与现有的无需训练的结构化剪枝工作相比，我们的方法在标准基准测试中显示出更优越的性能。此外，我们生成的子网可以直接减少GPU内存的使用，并实现推理加速。
研究背景：
LLMs因其在各个领域的卓越性能而闻名，但计算和存储成本限制了它们在多种设备上的部署。例如，GPT-3模型需要超过326GB的内存，超出了大多数GPU的内存能力。为了解决这些挑战，已经开发了各种压缩技术，包括权重剪枝、量化和知识蒸馏，表明LLMs中存在大量冗余。
问题与挑战：
除了优化模型权重外，提高模型架构是实现高效能和优越性能的另一个关键方向。尽管神经架构搜索（NAS）是为CNN和基于Transformer的模型识别高效架构的关键技术，但LLMs的架构搜索领域尚未被探索。
如何解决：
我们提出了一个无需训练的架构搜索框架，通过计算权重的重要性来发现LLMs内部的高效LLM架构。我们首先确定一个合适的初始架构，然后应用基于进化的算法全局搜索高效子网。
创新点：
- 提出了一个无需训练的搜索框架，通过重要性感知初始化显著减少搜索时间成本，并使用特殊的掩码突变和高效的候选评估进行进化架构搜索。
- 提出了一种重构算法，通过仅使用128个训练样本进行校准，从而提高子网的有效性。
算法模型：
我们的方法包括三个关键组件：搜索初始化、搜索流程和权重重构。首先，基于权重重要性构建初始有效架构，然后使用基于进化的搜索方法进行全面搜索，最后引入重构方法在不重新训练的情况下通过前向传递改进子网性能。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-02（下）+https://developer.aliyun.com/article/1628931
