机器学习PAI EasyRec中的eval_config怎么用?给一个具体案例
根据已知的概念信息中的描述,可以得知eval_config是EasyRec中的一个参数,它的类型是EvalConfig,是可选的参数。根据已知的参考内容信息中的示例,可以看到eval_config的具体使用方式如下:eval_config {
num_examples: 1000
metrics_set: {
auc {}
}
}
在这个例子中,eval_config被用于设置评估的配置信息。其中,num_examples表示评估时使用的样本数量为1000个,metrics_set表示评估时使用的指标集合,这里使用的是auc指标。
所以,你可以根据自己的需求来设置eval_config参数,例如设置不同的样本数量和指标集合,以满足你的评估需求。,此回答整理自钉群“【EasyRec】推荐算法交流群”
在EasyRec中,eval_config用于配置模型评估的相关参数。
以下是一个具体案例:
{
"metrics": [
{
"name": "auc",
"type": "binary_classification",
"threshold": 0.5
},
{
"name": "precision",
"type": "binary_classification",
"threshold": 0.5
},
{
"name": "recall",
"type": "binary_classification",
"threshold": 0.5
}
]
}
在这个例子中,我们定义了三个评估指标:AUC、精确率和召回率。每个指标都有一个类型(这里是二分类)和一个阈值。
然后,我们可以在训练时使用这个eval_config:
python -m easy_rec.python.train --pipeline_config_path dwd_avazu_ctr_deepmodel.config --eval_config_path eval_config.json --export_dir ./export
这样,模型训练结束后,就会根据eval_config中的设置进行模型评估。
在机器学习PAI EasyRec中,eval_config可以用来设置训练集和验证集的比例以及相应的评估指标。
一个具体的例子如下所示:
# 训练集和验证集的比例
eval_config:
train_percent: 0.8
val_percent: 0.2
# 评估指标
eval_metrics:
- binary_logloss
# 是否在训练过程中输出评估结果
eval_output_path: true
在这个例子中,我们将数据集分为80%的训练集和20%的验证集。然后我们使用binary_logloss作为评估指标。最后,我们设置了eval_output_path为true,这样在训练过程中会将评估结果输出到stdout。
需要注意的是,如果eval_output_path设置为false,则不会输出任何评估结果。此外,还需要注意eval_config下的训练集和验证集的比例之和应为1。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。