如何从系统层面优化深度学习计算？
在图像、语音识别、自然语言处理、强化学习等许多技术领域中，深度学习已经被证明是非常有效的，并且在某些问题上已经达到甚至超越了人类的水平。然而，深度学习对于计算能力有着很大的依赖，除了改变模型和算法，是否可以从系统的层面来优化深度学习计算，进而改善计算资源的使用效率？本文中，来自微软亚洲研究院异构计算组资深研究员伍鸣与大家分享他对深度学习计算优化的一些看法。
深入理解 RDMA 的软硬件交互机制
本文深入分析了RDMA技术在数据中心高性能网络环境下的工作原理及软硬件交互机制，通过对比传统Kernel TCP，突出了RDMA在减少延迟、提高系统性能方面的优势，同时讨论了其在内存管理、软硬交互方面的关键技术和挑战，为读者提供了全面理解RDMA技术及其应用场景的视角。
GPU通信互联技术：GPUDirect、NVLink与RDMA
在高性能计算和深度学习领域，GPU已成为关键工具。然而，随着模型复杂度和数据量的增加，单个GPU难以满足需求，多GPU甚至多服务器协同工作成为常态。本文探讨了三种主要的GPU通信互联技术：GPUDirect、NVLink和RDMA。GPUDirect通过绕过CPU实现GPU与设备直接通信；NVLink提供高速点对点连接和支持内存共享；RDMA则在网络层面实现直接内存访问，降低延迟。这些技术各有优势，适用于不同场景，为AI和高性能计算提供了强大支持。