开发者社区> 问答> 正文

在稀疏模型训练中,TensorFlow处理Embedding特征查询时面临什么问题?

在稀疏模型训练中,TensorFlow处理Embedding特征查询时面临什么问题?

展开
收起
不吃核桃 2024-08-07 18:17:08 8 0
1 条回答
写回答
取消 提交回答
  • 在稀疏模型训练中,TensorFlow处理上百路的Embedding特征查询时,每路查询都会调用数十个算子操作,这导致TensorFlow引擎需要调度大量的算子操作,增加了额外的CPU线程开销。同时,对于GPU设备,过多的CUDA kernel提交到流处理器上,带来了GPU Stream Multiprocessor (SM)的调度开销,且每个算子处理数据的并发度不高,难以充分利用GPU的计算单元。

    2024-08-07 20:18:33
    赞同 3 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大规模机器学习在蚂蚁+阿里的应用 立即下载
阿里巴巴机器学习平台AI 立即下载
微博机器学习平台架构和实践 立即下载