人工智能平台PAI操作报错合集之带有all reduce 的算子是trace不出来的,结果会错,怎么才可以绕过去

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。

问题一:机器学习PAI这个错误有空能帮忙看下吗?


机器学习PAI这个错误有空能帮忙看下吗?INFO: Found 7 targets...

ERROR: /root/.cache/bazel/_bazel_root/2f9436f914163304d24e844a3ddc3a23/external/tensorrt/BUILD:18:11: Middleman _middlemen/@tensorrt_S_S_Cnvinfer_Uheaders-cc_library-compile failed: missing input file '@tensorrt//:include/NvUtils.h'

ERROR: /root/.cache/bazel/_bazel_root/2f9436f914163304d24e844a3ddc3a23/external/tensorrt/BUILD:18:11: Middleman _middlemen/@tensorrt_S_S_Cnvinfer_Uheaders-cc_library-compile failed: 1 input file(s) do not exist

ERROR: /root/.cache/bazel/_bazel_root/2f9436f914163304d24e844a3ddc3a23/external/tensorrt/BUILD:18:11 Middleman _middlemen/@tensorrt_S_S_Cnvinfer_Uheaders-cc_library-compile failed: 1 input file(s) do not exist

INFO: Elapsed time: 2.172s, Critical Path: 0.00s

INFO: 2 processes: 2 internal.

FAILED: Build did NOT complete successfully


参考回答:

看起来环境里没有 tensorrt,建议还是用disc 的开发镜像, 那个环境是经过 CI 验证的


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/582112



问题二:机器学习PAI一条数据也会报错,什么原因?


机器学习PAI一条数据也会报错?

这个是odps表建表语句

CREATE TABLE IF NOT EXISTS label_knowl_user_training_table_dev_2(

label STRING,

user_sex STRING,

user_organization_group STRING,

user_organization_job_group STRING,

user_knowl_count STRING,

user_points STRING,

user_contribute STRING,

knowl_author_group STRING,

knowl_defind_tag_group STRING,

knowl_feaktm_tags STRING,

knowl_pro_tags STRING,

knowl_organization_group STRING,

knowl_hot STRING,

knowl_view_count STRING,

knowl_reply_count STRING,

knowl_like_count STRING,

knowl_favorite_count STRING,

user_register_at STRING,

user_pr_birthday STRING,

knowl_first_publish_time STRING,

knowl_publish_time STRING,

knowl_vec STRING)

STORED AS ALIORC ;


参考回答:

你的 第 10 个特征的特征值,和你在 EasyRec config 里面的定义,你的第 10 个特征里面没有 kv_separator 吧


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/582125



问题三:机器学习PAI现在带有all reduce 的算子是trace不出来的?结果会错?有办法绕过去吗?


机器学习PAI现在带有all reduce 的算子是trace不出来的,结果会错,有办法绕过去吗? 如果只想融合下算子 ,除了aot autograd,还有其他方式吗?


参考回答:

如果是只是想测下 fusion,直接用就可以了,dynamo 在 trace 的时候会 break 掉 collective ops。 但社区已经在解决这个问题了,比如这个 RFC:https://github.com/pytorch/pytorch/issues/93173 ,以及这个 unit test:https://github.com/pytorch/pytorch/blob/main/test/distributed/test_inductor_collectives.py


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/582108



问题四:机器学习PAI我可以直接用类似这种格式的数据训练带FG功能的模型吗?


机器学习PAI我可以直接用类似这种格式的数据训练带FG功能的模型吗?

因为我之前训练的模型,部署的时候,当设置"fg_mode": "bypass" 的时候,是可以部署成功的,但是设置成"fg_mode": "tf"以后,部署时就会报 Failed to load optimized model 的错误 所以我想知道,训练模型的时候,训练数据就必须是你们表格中的那种格式吗?


参考回答:

"fg_mode": "bypass" 这个模式就相当于直接部署EAS 的 tensorflow processor; 并不能利用用 EasyRecProcessor的额外优势。如果就只是想使用TF的推理服务的话,建议还是直接部署 TF Processor; 如果想使用 EasyRecProcessor, 一般的流程是要使用FG的,这种情况下目前训练数据是必须要处理成 第一个图中的 big string的格式 后面我们也可能会支持直接从原始table训练支持FG功能的模型;目前还不支持 。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/580116



问题五:机器学习PAI日志中明明上面已经显示savemodelload成功,后面又loadmodel失败呢?


机器学习PAI日志中明明上面已经显示savemodel load成功,后面又load model失败呢?


参考回答:

你没有配item特征表 INVALID_ARGUMENT: Parse fg json config failed .fg.json 要放在 saved_model的目录 asserts 下面

你的json格式有问题 Parse FgConfig from file failed: /larec/build/3rdparty/include/autil/legacy/any.h(112): BadAnyCast: autil::legacy::AnyCast: can't cast from N5autil 6legacy4json10JsonNumberE to Ss, content is 0


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/580776

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
人工智能浪潮下,如何利用机器学习进行数据分类
【8月更文挑战第33天】本文将介绍一种使用Python编程语言和scikit-learn库实现的简单机器学习算法。我们将使用KNN(k-近邻)算法对鸢尾花数据集进行分类。通过这篇文章,你将学会如何使用机器学习技术解决实际问题。
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习在医疗诊断中的应用
【9月更文挑战第32天】随着科技的不断发展,人工智能和机器学习已经在许多领域得到了广泛应用。在医疗领域,它们正在改变着医生和患者的生活。通过分析大量的医疗数据,AI可以帮助医生更准确地诊断疾病,预测患者的病情发展,并提供个性化的治疗方案。本文将探讨人工智能和机器学习在医疗诊断中的具体应用,包括图像识别、自然语言处理和预测分析等方面。我们还将讨论AI技术面临的挑战和未来的发展趋势。
|
14天前
|
人工智能 JSON 数据格式
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
【9月更文挑战第6天】RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
|
10天前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
22 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
10天前
|
机器学习/深度学习 人工智能 算法
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台。果蔬识别系统,本系统使用Python作为主要开发语言,通过收集了12种常见的水果和蔬菜('土豆', '圣女果', '大白菜', '大葱', '梨', '胡萝卜', '芒果', '苹果', '西红柿', '韭菜', '香蕉', '黄瓜'),然后基于TensorFlow库搭建CNN卷积神经网络算法模型,然后对数据集进行训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面,实现用户上传一张果蔬图片识别其名称。
29 0
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
12天前
|
机器学习/深度学习 人工智能 算法
人工智能与命运的交织:从机器学习到人生选择
【9月更文挑战第21天】本文将探讨人工智能(AI)如何在我们的生活中扮演着越来越重要的角色,以及它如何影响我们的决策和命运。我们将从AI的基本概念出发,逐步深入到机器学习的核心原理,最后讨论AI如何帮助我们在复杂的人生道路上做出更明智的选择。通过简单易懂的语言和实际代码示例,我们将揭示AI技术背后的奥秘,并展示如何将这些技术应用于日常生活中的实际问题解决。让我们一起探索这个充满无限可能的AI世界,发现它如何塑造我们未来的命运。
25 1
|
15天前
|
机器学习/深度学习 存储 人工智能
文本情感识别分析系统Python+SVM分类算法+机器学习人工智能+计算机毕业设计
使用Python作为开发语言,基于文本数据集(一个积极的xls文本格式和一个消极的xls文本格式文件),使用Word2vec对文本进行处理。通过支持向量机SVM算法训练情绪分类模型。实现对文本消极情感和文本积极情感的识别。并基于Django框架开发网页平台实现对用户的可视化操作和数据存储。
20 0
文本情感识别分析系统Python+SVM分类算法+机器学习人工智能+计算机毕业设计
|
16天前
|
人工智能 自然语言处理 前端开发
基于ChatGPT开发人工智能服务平台
### 简介 ChatGPT 初期作为问答机器人,现已拓展出多种功能,如模拟面试及智能客服等。模拟面试功能涵盖个性化问题生成、实时反馈等;智能客服则提供全天候支持、多渠道服务等功能。借助人工智能技术,这些应用能显著提升面试准备效果及客户服务效率。 ### 智能平台的使用价值 通过自动化流程,帮助用户提升面试准备效果及提高客户服务效率。 ### 实现思路 1. **需求功能设计**:提问与接收回复。 2. **技术架构设计**:搭建整体框架。 3. **技术选型**:示例采用 `Flask + Template + HTML/CSS`。 4. **技术实现**:前端界面与后端服务实现。
33 1
|
24天前
|
机器学习/深度学习 人工智能 算法
探索人工智能:机器学习的奥秘与应用
本文深入浅出地探讨了人工智能领域中的核心技术——机器学习,揭示了其背后的原理和广泛的实际应用。通过浅显易懂的语言和生动的例子,本文旨在为非专业读者打开一扇了解并利用机器学习的大门,同时激发对这一前沿技术的兴趣和思考。
31 1
|
1月前
|
机器学习/深度学习 人工智能 算法
探索人工智能的未来:机器学习的奥秘
本文旨在揭示机器学习技术的核心原理和未来趋势。我们将从基础概念出发,通过易懂的语言和生活化的比喻,逐步深入到机器学习的应用实例,并探讨其对日常生活的影响。文章不仅为初学者提供入门知识,还为有志于深入了解人工智能领域的读者指明方向。

相关产品

  • 人工智能平台 PAI
  • 下一篇
    无影云桌面