基于 Megatron 的多模态大模型训练加速技术解析
Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具，旨在帮助开发者快速上手大模型，打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例，从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术
面试：TCP、UDP如何解决丢包问题
TCP、UDP如何解决丢包问题。TCP：基于数据块传输/数据分片、对失序数据包重新排序以及去重、流量控制（滑动窗口）、拥塞控制、自主重传ARQ；UDP：程序执行后马上开始监听、控制报文大小、每个分割块的长度小于MTU