人工智能平台PAI产品使用合集之在使用DSSM负采样时,不知道label_fields的配置方法如何解决

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

问题一:机器学习PAI我配置了负采样表,但是不知道在训练样本里label_fields该怎么设置?

机器学习PAI我们场景里,目前只有用户的搜索的指定类型的数据,没有负样本,所以我们的训练样本标签都为1,预备从负采样表中采样负样本作为0。我配置了负采样表,但是不知道在训练样本里label_fields该怎么设置?



参考答案:

都设置为1.就是表中 “标签都为1的” 那一列的列名



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573252



问题二:请教一下机器学习PAI,如果使用DSSM负采样版本,我们的label_fields应该怎么配置?

请教一下机器学习PAI,如果使用DSSM负采样版本,训练数据只有正样本,我们的label_fields应该怎么配置?这个项目直接置空吗?



参考答案:

你框里面的是指的训练的模型的目标字段名称,和负采样没有关系了。负采样相关的配置只限制在 negative_sampler{} 里面



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573250



问题三:机器学习PAI这里的model_path应该填哪个path呢?

机器学习PAIexport过程优先使用ckpt_path,ckpt_path没有就使用model_path,但是没有model_path会报错:



参考答案:

在 tensorflow 的接口里面,model_dir 和 checkpoint_path 一般不等价,model_dir 里面除了 checkpoint path, 还会有计算图和其它元数据,所以一般不能用 checkpoint_path 来代替 model_dir 。

这个地方的 Dconfig 应该使用你 model_dir 里面的那个 pipeline.config, 这个 pipeline.config 里面有 model_dir 这个信息,这样的话你可以直接按文档来:https://easyrec.readthedocs.io/en/latest/export.html

如果你的 config 没有 model_dir 的信息,没有的话就需要手动指定一下参数 Dmodel_dir, 原因是虽然同时有 model_dir 和 checkpoint_path 的时候我们会用 checkpoint_path 来加载 checkpoint (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L772), 但是在加载 checkpoint 之前会有一个建立 estimator 的操作 (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L763),这个操作复用了 tensorflow 的 api, 里面会要求传入 config.model_dir, 然后如果为空的话 tensorflow 的这个接口会报错 (见代码:https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L137)。

所以最后总结,最好直接用 model_dir 里面的 pipeline_config, 可以直接按文档来:https://easyrec.readthedocs.io/en/latest/export.html ,如果你的 config 里面没有的话最好在 config 里面写上 model_dir 或者指定 Dmodel_dir 。然后在 tensorflow 里面认为 model_dir 和 checkpoint_path 不等价,整个导出的过程不只是有加载 checkpoint 这一个操作,还会有别的操作需要用到 model_dir 。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573249



问题四:机器学习PAI不拆塔获取的结果和拆塔获取的结果应该是一样的吧?

机器学习PAI双塔DSSM我们想获取item emebdding和user embedding,不拆塔获取的结果和拆塔获取的结果应该是一样的吧?不拆塔,item侧填随机数



参考答案:

在机器学习 PAI 中,对于双塔 DSSM 模型获取 item embedding 和 user embedding 的情况,拆塔和不拆塔获取的结果是有所不同的。

  1. 拆塔获取结果:在拆塔的情况下,通过分别训练 item 塔和 user 塔,我们可以得到分别用于表示 item 和 user 的 embedding。这些 embedding 是在训练过程中学习到的,能够捕捉到 item 和 user 的语义信息。因此,item embedding 和 user embedding 是分别独立学习的,它们在数值上可能存在差异。
  2. 不拆塔获取结果:在不拆塔的情况下,将 item 和 user 作为一个整体输入模型,并一起进行训练。在这种情况下,item embedding 和 user embedding 是共享参数的,即它们会被同时调整以最小化损失函数。由于共享参数,item 和 user 在嵌入空间中具有相似的表示,因此 embedding 在数值上可能更加接近。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573248



问题五:提一个机器学习PAI问题:在ODPS使用训练好的DSSM负采样版本,请问这个的主要原因是什么呢?

提一个机器学习PAI问题:在ODPS使用训练好的DSSM负采样版本,(指定保存好的.pb模型文件的路径)对比( 指定保存好的.pb模型文件 + 指定checkpoint_path )在同样的数据集上进行evaluate,效果差别非常大,请问这个的主要原因是什么呢?



参考答案:

你加不加评估的不是同一个模型,优先使用checkpoint_path,没有checkpoint_path才使用model_dir

说错了,export是可以用checkpoint_path的

checkpoint_path 优先级 比 model_dir 高

代码在这里,也可以参考代码里面看一下:

https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L387

https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L674

https://github.com/alibaba/EasyRec/blob/master/easy_rec/python/main.py#L718



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/573245

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
2月前
|
机器学习/深度学习 数据采集 算法
量子机器学习入门:三种数据编码方法对比与应用
在量子机器学习中,数据编码方式决定了量子模型如何理解和处理信息。本文详解角度编码、振幅编码与基础编码三种方法,分析其原理、实现及适用场景,帮助读者选择最适合的编码策略,提升量子模型性能。
211 8
|
10月前
|
机器学习/深度学习 存储 设计模式
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
378 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
|
12月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
1136 6
|
机器学习/深度学习 数据采集 算法
Java 大视界 -- Java 大数据机器学习模型在金融衍生品定价中的创新方法与实践(166)
本文围绕 Java 大数据机器学习模型在金融衍生品定价中的应用展开,分析定价现状与挑战,阐述技术原理与应用,结合真实案例与代码给出实操方案,助力提升金融衍生品定价的准确性与效率。
Java 大视界 -- Java 大数据机器学习模型在金融衍生品定价中的创新方法与实践(166)
|
10月前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
1735 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
8月前
|
JSON 数据格式
基于 PAI-ArtLab 使用 ComfyUI 生成产品效果图
本文介绍了通过PAI ArtLab平台生成电商背景图的实验。用户可上传汽车、家电、化妆品等产品图片,快速生成背景并提升画质,实现降本增效。具体步骤包括登录阿里云完成实名认证,访问PAI ArtLab平台领取免费试用资源,使用ComfyUI加载工作流并上传图片,调整参数生成结果。此外,还提供了 Flux重绘和ControlNet微调等高级功能,以及常见问题解答,帮助用户更好地操作与优化图片效果。
|
11月前
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题,并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集,采用线性回归和决策树回归两种方法进行缺失值补充,并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示,决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳,而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣,并给出了实际应用建议。
596 7
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
|
10月前
如何看PAI产品下训练(train)模型任务的费用细节
PAI产品下训练(train)模型任务的费用细节
192 6
|
12月前
|
机器学习/深度学习 算法 UED
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
400 6
|
机器学习/深度学习 数据采集 数据挖掘
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
因果推断方法为特征工程提供了一个更深层次的框架,使我们能够区分真正的因果关系和简单的统计相关性。这种方法在需要理解干预效果的领域尤为重要,如经济学、医学和市场营销。
405 1
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计

热门文章

最新文章

相关产品

  • 人工智能平台 PAI