机器学习PAI常见问题之运行报错如何解决

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。

问题一:机器学习PAI能不能给下这两个文件,我看下样本怎么组织?


机器学习PAI能不能给下这两个文件,我看下样本怎么组织?train_input_path: "data/test/tb_data/taobao_pdn_fake_train_data"

eval_input_path: "data/test/tb_data/taobao_pdn_fake_test_data"


参考回答:

https://easyrec.readthedocs.io/en/latest/develop.html#id4 参考这个文档,获取测试数据


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599134


问题二:机器学习PAI这里的inputs是在哪里获取的啊?


机器学习PAI中easy_rec.python.layers.keras.din.py,这里的inputs是在哪里获取的啊?inputs的顺序是在哪里调整为 keys, seq_len, query的?


参考回答:

貌似是通过这个block来预处理inputs


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599135


问题三:机器学习PAI报错,怎么回事?


机器学习PAI报错?ValueError: Horovod has not been initialized; use hvd.init().https://logview.alibaba-inc.com/logview/?h=http://service.odps.aliyun-inc.com/api&p=tmall_rec_algo_dev&i=20240221094542905gcdp1dlvyg2_598ae623_b679_4309_86b5_94b83b42f129&token=NUVQK042clJjUWRtNW5wdldwNzU2ZGRIcHFzPSxPRFBTX09CTzoxMjc3MTA3OTI5OTEzMDQwLDE3MTExMDA3NDcseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3RtYWxsX3JlY19hbGdvX2Rldi9pbnN0YW5jZXMvMjAyNDAyMjEwOTQ1NDI5MDVnY2RwMWRsdnlnMl81OThhZTYyM19iNjc5XzQzMDlfODZiNV85NGI4M2I0MmYxMjkiXX1dLCJWZXJzaW9uIjoiMSJ9

用的是demo的config,只是数据源改成了odps



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599137


问题四:机器学习PAI将easyrec的predict的产出结果写到带有两个分区字段的表,这么写可以吗?


机器学习PAI将easyrec的predict的产出结果写到带有两个分区字段的表,这么写可以吗?


参考回答:

试试/dt=bizdate/tasktype={bizdate}/task_type={task_type} ,


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599138


问题五:机器学习PAI是不是意味着对于TagFeature如果有一条样本的tag数超过10会截断到10呀?


机器学习PAI看到FeatureConfig里的lookup_max_sel_elem_num默认值是10,是不是意味着对于TagFeature如果有一条样本的tag数超过10会截断到10呀?


参考回答:

这个不影响TagFeature,只影响LookupFeature,LookupFeature的话建议用fg做效率比较高


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599140

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
7天前
|
机器学习/深度学习 人工智能 JSON
人工智能平台PAI产品使用合集之创建特征视图时遇到报错,该如何排查
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6天前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
16 1
|
26天前
|
机器学习/深度学习 人工智能 Apache
人工智能平台PAI操作报错合集之alink任务可以在本地运行,上传到flink web运行就报错,如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
6天前
|
机器学习/深度学习 人工智能 算法
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
|
26天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI操作报错合集之遇到报错:PANGU_FILE_NOT_FOUND?如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
26天前
|
机器学习/深度学习 人工智能 并行计算
人工智能平台PAI操作报错合集之version选了0.7.5并在使用learn_loss_weight时遇到报错,如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
26天前
|
机器学习/深度学习 人工智能 JSON
人工智能平台PAI操作报错合集之带有all reduce 的算子是trace不出来的,结果会错,怎么才可以绕过去
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
148 14
|
2月前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
|
2月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
53 1

热门文章

最新文章

相关产品

  • 人工智能平台 PAI