EdgeShard：通过协作边缘计算实现高效的大语言模型推理——论文解读
EdgeShard是一种基于协作边缘计算的大语言模型（LLM）推理框架，旨在解决LLM在云端部署面临的延迟高、带宽压力大和隐私泄露等问题。通过将LLM分片部署在多个边缘设备上，结合云边协同与设备间协作，EdgeShard实现了高效的模型推理。其核心创新包括：联合设备选择与模型划分优化、支持流水线并行与微批处理、提出EdgeShard-No-Bubbles策略以减少设备空闲时间，从而显著提升推理吞吐量并降低延迟。实验表明，EdgeShard在异构边缘设备上可实现高达50%的延迟降低和2倍的吞吐量提升，支持全精度模型推理而无精度损失，为资源受限的边缘环境提供了高效的LLM部署方案。
解决推理能力瓶颈，用因果推理提升LLM智能决策
从ChatGPT到AI智能体，标志着AI从对话走向自主执行复杂任务的能力跃迁。AI智能体可完成销售、旅行规划、外卖点餐等多场景任务，但其发展受限于大语言模型（LLM）的推理能力。LLM依赖统计相关性，缺乏对因果关系的理解，导致在非确定性任务中表现不佳。结合因果推理与内省机制，有望突破当前AI智能体的推理瓶颈，提升其决策准确性与自主性。