云端协同：开启远程工作的无限可能
云上远程协作不仅是应对特殊情况下的临时措施，更是未来工作模式的一种长期趋势。它为人们提供了更大的自由度和灵活性，同时也带来了更高的生产力和创新能力。随着技术的不断进步和社会观念的转变，我们可以期待云上远程协作将会在未来的职场中扮演越来越重要的角色。
PyTorch 与边缘计算：将深度学习模型部署到嵌入式设备
【8月更文第29天】随着物联网技术的发展，越来越多的数据处理任务开始在边缘设备上执行，以减少网络延迟、降低带宽成本并提高隐私保护水平。PyTorch 是一个广泛使用的深度学习框架，它不仅支持高效的模型训练，还提供了多种工具帮助开发者将模型部署到边缘设备。本文将探讨如何将PyTorch模型高效地部署到嵌入式设备上，并通过一个具体的示例来展示整个流程。
EdgeShard：通过协作边缘计算实现高效的大语言模型推理——论文解读
EdgeShard是一种基于协作边缘计算的大语言模型（LLM）推理框架，旨在解决LLM在云端部署面临的延迟高、带宽压力大和隐私泄露等问题。通过将LLM分片部署在多个边缘设备上，结合云边协同与设备间协作，EdgeShard实现了高效的模型推理。其核心创新包括：联合设备选择与模型划分优化、支持流水线并行与微批处理、提出EdgeShard-No-Bubbles策略以减少设备空闲时间，从而显著提升推理吞吐量并降低延迟。实验表明，EdgeShard在异构边缘设备上可实现高达50%的延迟降低和2倍的吞吐量提升，支持全精度模型推理而无精度损失，为资源受限的边缘环境提供了高效的LLM部署方案。