开发者社区 问答 正文

为什么TensorFlow-XLA在稀疏模型训练中的优化效果不明显?

为什么TensorFlow-XLA在稀疏模型训练中的优化效果不明显?

展开
收起
不吃核桃 2024-08-07 18:17:08 85 分享 版权
1 条回答
写回答
取消 提交回答
  • 在Wide and Deep模型这样的稀疏场景下,Embedding阶段的算子往往具有dynamic shape的特点,即算子尺寸在TensorFlow静态构图阶段无法准确获取。这导致类似TensorFlow-XLA这样的基于编译技术的优化手段无法有效进行算子合并,因此优化效果不明显。

    2024-08-07 20:18:33
    赞同 2 展开评论