机器学习PAI是这么concat的，在这里需要处理缺失的情况吗？
SELECT t1.gaid
,sign_label
,data_dt
,CONCAT_WS(CHR(2), features, open_emb) features
from dwd_tz_flexicash_model_multitower_v1_train_1 t1
LEFT JOIN
(
SELECT gaid, open_emb
FROM mi_ads_dmp_dev.dwd_gaid_open_w2v_embedding_v61_di
WHERE dt = '20240710'
) t2
ON t1.gaid = t2.gaid
;
机器学习PAI是这么concat的，在这里需要处理缺失的情况吗？
写回答
-
上述SQL查询中使用了CONCAT_WS(CHR(2), features, open_emb)来合并features和open_emb两列。在CONCAT_WS函数中，如果open_emb列有缺失值（NULL），它会被默认视为分隔符（在这里是CHR(2)）并插入到结果中。因此，如果open_emb为NULL，不会导致空值错误。然而，如果您不希望NULL值出现在合并的结果中，您需要在JOIN之前处理open_emb的缺失值，例如用其他值替换NULL。在PAI的FillMissingValues组件中，您可以配置填充缺失值的规则，确保open_emb列在JOIN前没有缺失值。参见PAI 缺失值填充
2024-07-25 15:16:46赞同 6 展开评论 打赏 -
需要处理一下缺失，填上默认值。然后保证这个 features 里面的特征数 和 easyrec config input 都要能对应，不填默认值的情况下，easyrec config 里面的 input 需要设置 default_val ，此回答整理自钉群“[EasyRec/PAI-Rec]推荐算法交流群”
2024-07-25 08:48:59赞同 1 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
