人工智能平台PAI产品使用合集之在使用DSSM负采样时,不知道label_fields的配置方法如何解决

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

问题一:机器学习PAI我配置了负采样表,但是不知道在训练样本里label_fields该怎么设置?

机器学习PAI我们场景里,目前只有用户的搜索的指定类型的数据,没有负样本,所以我们的训练样本标签都为1,预备从负采样表中采样负样本作为0。我配置了负采样表,但是不知道在训练样本里label_fields该怎么设置?



参考答案:

都设置为1.就是表中 “标签都为1的” 那一列的列名



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573252



问题二:请教一下机器学习PAI,如果使用DSSM负采样版本,我们的label_fields应该怎么配置?

请教一下机器学习PAI,如果使用DSSM负采样版本,训练数据只有正样本,我们的label_fields应该怎么配置?这个项目直接置空吗?



参考答案:

你框里面的是指的训练的模型的目标字段名称,和负采样没有关系了。负采样相关的配置只限制在 negative_sampler{} 里面



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573250



问题三:机器学习PAI这里的model_path应该填哪个path呢?

机器学习PAIexport过程优先使用ckpt_path,ckpt_path没有就使用model_path,但是没有model_path会报错:



参考答案:

在 tensorflow 的接口里面,model_dir 和 checkpoint_path 一般不等价,model_dir 里面除了 checkpoint path, 还会有计算图和其它元数据,所以一般不能用 checkpoint_path 来代替 model_dir 。

这个地方的 Dconfig 应该使用你 model_dir 里面的那个 pipeline.config, 这个 pipeline.config 里面有 model_dir 这个信息,这样的话你可以直接按文档来:https://easyrec.readthedocs.io/en/latest/export.html

如果你的 config 没有 model_dir 的信息,没有的话就需要手动指定一下参数 Dmodel_dir, 原因是虽然同时有 model_dir 和 checkpoint_path 的时候我们会用 checkpoint_path 来加载 checkpoint (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L772), 但是在加载 checkpoint 之前会有一个建立 estimator 的操作 (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L763),这个操作复用了 tensorflow 的 api, 里面会要求传入 config.model_dir, 然后如果为空的话 tensorflow 的这个接口会报错 (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L137)。

所以最后总结,最好直接用 model_dir 里面的 pipeline_config, 可以直接按文档来:https://easyrec.readthedocs.io/en/latest/export.html ,如果你的 config 里面没有的话最好在 config 里面写上 model_dir 或者指定 Dmodel_dir 。然后在 tensorflow 里面认为 model_dir 和 checkpoint_path 不等价,整个导出的过程不只是有加载 checkpoint 这一个操作,还会有别的操作需要用到 model_dir 。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573249



问题四:机器学习PAI不拆塔获取的结果和拆塔获取的结果应该是一样的吧?

机器学习PAI双塔DSSM我们想获取item emebdding和user embedding,不拆塔获取的结果和拆塔获取的结果应该是一样的吧?不拆塔,item侧填随机数



参考答案:

在机器学习 PAI 中,对于双塔 DSSM 模型获取 item embedding 和 user embedding 的情况,拆塔和不拆塔获取的结果是有所不同的。

  1. 拆塔获取结果:在拆塔的情况下,通过分别训练 item 塔和 user 塔,我们可以得到分别用于表示 item 和 user 的 embedding。这些 embedding 是在训练过程中学习到的,能够捕捉到 item 和 user 的语义信息。因此,item embedding 和 user embedding 是分别独立学习的,它们在数值上可能存在差异。
  2. 不拆塔获取结果:在不拆塔的情况下,将 item 和 user 作为一个整体输入模型,并一起进行训练。在这种情况下,item embedding 和 user embedding 是共享参数的,即它们会被同时调整以最小化损失函数。由于共享参数,item 和 user 在嵌入空间中具有相似的表示,因此 embedding 在数值上可能更加接近。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573248



问题五:提一个机器学习PAI问题:在ODPS使用训练好的DSSM负采样版本,请问这个的主要原因是什么呢?

提一个机器学习PAI问题:在ODPS使用训练好的DSSM负采样版本,(指定保存好的.pb模型文件的路径)对比( 指定保存好的.pb模型文件 + 指定checkpoint_path )在同样的数据集上进行evaluate,效果差别非常大,请问这个的主要原因是什么呢?



参考答案:

你加不加评估的不是同一个模型,优先使用checkpoint_path,没有checkpoint_path才使用model_dir

说错了,export是可以用checkpoint_path的

checkpoint_path 优先级 比 model_dir 高

代码在这里,也可以参考代码里面看一下:

https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L387

https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L674

https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L718



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573245

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
11天前
|
机器学习/深度学习 人工智能 监控
揭秘人工智能:机器学习的魔法
【10月更文挑战第6天】本文将带你走进人工智能的世界,了解机器学习如何改变我们的生活。我们将深入探讨机器学习的原理,以及它在各个领域的应用。同时,我们也会分享一些实用的代码示例,帮助你更好地理解和应用机器学习。无论你是初学者还是专业人士,这篇文章都将为你提供有价值的信息和启示。让我们一起探索这个神奇的领域吧!
|
21天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能的未来:机器学习与深度学习的融合之旅
【9月更文挑战第35天】在这篇文章中,我们将深入探讨人工智能的两大支柱——机器学习和深度学习。我们将通过代码示例和实际应用案例,揭示它们如何相互补充,共同推动AI技术的发展。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和启示。
50 0
|
1月前
|
机器学习/深度学习 人工智能 算法
人工智能浪潮下,如何利用机器学习进行数据分类
【8月更文挑战第33天】本文将介绍一种使用Python编程语言和scikit-learn库实现的简单机器学习算法。我们将使用KNN(k-近邻)算法对鸢尾花数据集进行分类。通过这篇文章,你将学会如何使用机器学习技术解决实际问题。
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习在医疗诊断中的应用
【9月更文挑战第32天】随着科技的不断发展,人工智能和机器学习已经在许多领域得到了广泛应用。在医疗领域,它们正在改变着医生和患者的生活。通过分析大量的医疗数据,AI可以帮助医生更准确地诊断疾病,预测患者的病情发展,并提供个性化的治疗方案。本文将探讨人工智能和机器学习在医疗诊断中的具体应用,包括图像识别、自然语言处理和预测分析等方面。我们还将讨论AI技术面临的挑战和未来的发展趋势。
|
8天前
|
机器学习/深度学习 数据采集 数据挖掘
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
因果推断方法为特征工程提供了一个更深层次的框架,使我们能够区分真正的因果关系和简单的统计相关性。这种方法在需要理解干预效果的领域尤为重要,如经济学、医学和市场营销。
23 1
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
|
11天前
|
机器学习/深度学习
如何用贝叶斯方法来解决机器学习中的分类问题?
【10月更文挑战第5天】如何用贝叶斯方法来解决机器学习中的分类问题?
|
13天前
|
机器学习/深度学习 人工智能 算法
人工智能与机器学习在医疗诊断中的应用
【10月更文挑战第3天】人工智能与机器学习在医疗诊断中的应用
23 3
|
17天前
|
机器学习/深度学习 算法 API
机器学习入门(六):分类模型评估方法
机器学习入门(六):分类模型评估方法
|
17天前
|
机器学习/深度学习 算法 搜索推荐
机器学习入门(四):距离度量方法 归一化和标准化
机器学习入门(四):距离度量方法 归一化和标准化
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能的未来:从机器学习到深度学习的演进
【10月更文挑战第8天】人工智能的未来:从机器学习到深度学习的演进
25 0

相关产品

  • 人工智能平台 PAI