开发者社区 问答 正文

HybridBackend中的K-Packing主要解决了什么问题?

HybridBackend中的K-Packing主要解决了什么问题?

展开
收起
不吃核桃 2024-08-07 18:53:45 41 分享 版权
1 条回答
写回答
取消 提交回答
  • K-Packing技术通过融合shuffle和stitch等算子来消除冗余的数据拷贝,进一步优化了Embedding层的计算过程。它减少了总体的算子数量,降低了细碎化,同时避免了所有算子完全融合而丢失的优化机会。
    image.png

    2024-08-07 20:18:37
    赞同 1 展开评论
问答地址: