问题一：为什么在大模型推理中需要进行算子的融合？
为什么在大模型推理中需要进行算子的融合？
参考回答：
在大模型推理中，大部分计算是访存密集型的，为了提高计算效率，会把attention结构和MLP的算子分别融合成大的算子。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660934
问题二：大模型推理的带宽需求主要受什么因素影响？
大模型推理的带宽需求主要受什么因素影响？
参考回答：
大模型推理基本是一个访存密集型的操作，它的带宽需求主要由GPU的HBM显存带宽决定。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660936
问题三：在大模型推理时，为什么需要特别关注通信性能？
在大模型推理时，为什么需要特别关注通信性能？
参考回答：
在大模型推理时，由于模型可能需要在多张GPU卡上进行分布式处理，因此卡与卡之间的通信性能变得尤为重要。通信开销可能占据整个端到端性能开销的较大比例，因此需要特别关注。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660937
问题四：如何优化大模型推理中的通信开销？
如何优化大模型推理中的通信开销？
参考回答：
优化大模型推理中的通信开销可以通过使用卡和卡之间的Nvlink互联或者PCIE P2P通信来提高通信性能。此外，通过亲和性分配调优等方法也可以进一步优化通信开销。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660938
问题五：Sora视频模型与传统的文生图模型在结构上有什么区别？
Sora视频模型与传统的文生图模型在结构上有什么区别？
参考回答：
Sora视频模型与传统的文生图模型在结构上的显著区别是，原来的Unet结构被替换为了diffusion Transformer的结构。
关于本问题的更多回答可点击原文查看：
