想咨询下机器学习PAI 您在MIND里面关于squash的做法，这样加完向量模长还能控制到0-1吗？
想咨询下机器学习PAI 您在MIND里面关于squash的做法，有些地方不是很理解。
scale_factor = tf.pow(input_norm_eps / (1 + input_norm_eps), self._squash_pow) * \
self._scale_ratio / tf.sqrt(input_norm_eps)
为什么用_squash_pow和_scale_ratio来共同控制？
下面的调参建议 squash_pow[0.1 - 1.0]这样会缩小的scale_factor，
但是上面对squash_pow的注视是squash加的power, 防止squash之后的向量值变得太小
这样加完向量模长还能控制到0-1吗？
另外item侧为什么不能用bn啊？
展开
收起
1
条回答
写回答
写回答
-
item侧用bn当时实验效果不好，分析可能和batch样本太相关了，和在线预测时的分布不一致了。squash_pow主要用来控制兴趣向量之间的相似度，防止兴趣向量过于相似，这个实验发现用这个方式比加loss控制兴趣向量的相似度，hitrate更好一些。 ，此回答整理自钉群“【EasyRec】推荐算法交流群”
2024-04-24 15:45:12赞同 1 展开评论 打赏
问答分类：
问答标签：
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
机器学习PAI现在一直在重试，怎样停掉？
211
请问机器学习PAI eas服务拉取dockerhub失败怎么办？
167
在机器学习PAI为什么有的空间看不到数据源：FeautureDB？
430
在iTAG想用PAI实现根据我上传的文档生成我想要的问答对的这种功能可以实现吗？
385
如何高效的往交互建模（dsw）上传较大的文件，有从阿里云盘中直接下载或类似的方法吗？
3386
机器学习PAI有没有pyalink 机器学习实战的开源项目？
359
通义千问 HTTP请求多轮对话的方式是什么格式的，文档里的没法实现，需要帮助，谢谢
615
请教下机器学习PAI 金融云的dataworkd可以调度公共云的pai DLC吗？
346
机器学习PAI特征选择怎么在maxcomput里面运行呀。cmd和entryFile应该怎么填？
74
iTAG阿里的数据标注任务怎么对接呀？
642
展开全部
【玩转数据系列九】机器学习为您解密雾霾形成原因
48932
阿里云PAI大模型评测最佳实践
41024
基于EasyAnimate模型的视频生成最佳实践
15548
【CVPR2024】面向StableDiffusion的编辑算法FreePromptEditing，提升图像编辑效果
14866
实践！如何用阿里云的机器学习得出泰坦尼克号沉船事件中谁有更大的概率获救
14133
基于对象特征的推荐
11539
【玩转数据系列十六】机器学习PAI通过声音分辨男女（含语音特征提取相关数据和代码）
8024
天猫精灵业务如何使用机器学习PAI进行模型推理优化
4611
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
60776
快速玩转 Llama2 机器学习 PAI 最佳实践（一）低代码 Lora 微调及部署
67632
展开全部
