问题一：在分布式训练场景下，集合通信性能会遇到什么问题？
在分布式训练场景下，集合通信性能会遇到什么问题？
参考回答：
在分布式训练场景下，集合通信性能会遇到一些问题。例如，在张量并行的切分中，会产生AllReduce操作，这些操作夹杂在计算流中，可能导致计算中断，从而影响计算效率。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660929
问题二：大模型推理时需要关注哪些方面？
大模型推理时需要关注哪些方面？
参考回答：
在大模型推理时，我们需要关注三个方面：显存、带宽和量化。显存方面，模型参数量大小决定了需要多少显存；带宽方面，因为大模型推理是访存密集型的计算方式，需要频繁访问显存，所以带宽规格是影响推理速度的首要因素；量化方面，低精度量化可以节省更多显存并提高访存效率，因此现在很多大模型推理都会采用量化的方式。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660930
问题三：在大模型推理中，如何解决显存瓶颈问题？
在大模型推理中，如何解决显存瓶颈问题？
参考回答：
在大模型推理中，显存瓶颈是一个重要问题。为了解决这个问题，可以采取一些策略，如使用多卡推理和进行TP方式的模型切分。此外，训练卡也可以用于推理业务，这通常会带来不错的效果。同时，低精度量化也是一个有效的解决方案，它可以节省显存并提高访存效率。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660931
问题四：Transformer结构主要包含哪些部分？
Transformer结构主要包含哪些部分？
参考回答：
Transformer结构主要包含attention结构和MLP（多层感知器）结构。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660932
问题五：在大模型推理中，大部分的计算是什么类型的操作？大模型推理的耗时主要集中在什么方面？
在大模型推理中，大部分的计算是什么类型的操作？大模型推理的耗时主要集中在什么方面？
参考回答：
在大模型推理中，大部分的计算都是矩阵乘运算，即GEMM操作。
大模型推理的耗时主要集中在访存上，主要是去做显存的读取，实际有85%的耗时都是访存。
关于本问题的更多回答可点击原文查看：
