机器学习PAI常见问题之下载了很多版本依赖包导致超时如何解决

问题一：机器学习PAI有在Yitian上推理LLM的方案吗？

机器学习PAI有在Yitian上推理LLM的方案吗？

参考回答：

机器学习PAI有在Yitian上推理LLM的方案。

阿里云机器学习平台PAI提供了BladeLLM，这是一个大模型推理引擎，专门用于部署高性能、低成本的大语言模型服务。BladeLLM对LLM推理和服务的全链路进行了深度优化，以确保用户能够轻松地在Yitian等平台上运行大型语言模型。此外，阿里云还支持EAS（弹性计算服务），用户可以在EAS上快速拉起第三方的开源大模型文件，如Qwen、Llama2、ChatGLM等，并且可以在短短5分钟内一键部署这些模型。

值得一提的是，阿里云机器学习平台PAI还针对Llama2系列模型进行了适配，推出了全量微调、Lora微调、推理服务等场景的最佳实践，帮助AI开发者快速开始使用这些模型。对于端侧部署，基于MNN实现的mnn-llm项目已经展现出业界领先的性能，特别是在ARM架构的CPU上，这意味着在移动设备或边缘计算设备上进行LLM推理也是可行的。

综上所述，阿里云机器学习平台PAI为用户提供了一套完整的解决方案，以在Yitian上推理LLM，包括优化的推理引擎、快速部署工具和最佳实践指南，以满足不同场景下的需求。

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/591626

问题二：使用机器学习PAI提醒以下内容 这使得依赖包下载了好多个版本，而且还会超时失败，请问下应该怎么解决？

请问一下，在win上安装pyalink，提醒“INFO: This is taking longer than usual. You might need to provide the dependency resolver with stricter constraints to reduce runtime. See https://pip.pypa.io/warnings/backtracking for guidance. If you want to abort this run, press Ctrl + C.”，这使得依赖包下载了好多个版本，而且还会超时失败，请问下应该怎么解决？

参考回答：

你可以尝试使用以下方法解决在Windows上安装pyalink时出现的问题：

1. 更新pip版本：运行以下命令来更新pip版本，这可能会解决依赖解析问题。

pip install --upgrade pip

1. 指定依赖版本：在安装pyalink之前，尝试指定其依赖的版本。你可以在安装命令中添加--no-deps选项来跳过依赖的自动安装，然后手动安装特定版本的依赖包。例如：

pip install pyalink --no-deps
pip install numpy==1.19.5 pandas==1.1.5

上述命令中，我们指定了numpy和pandas的版本为1.19.5和1.1.5，你可以根据需要选择适合的版本。

1. 使用虚拟环境：创建一个Python虚拟环境，并在其中安装pyalink及其依赖。这可以避免全局环境中的包冲突。以下是创建虚拟环境并安装pyalink的命令示例：

python -m venv myenv
myenvScripts\activate  # 激活虚拟环境（Windows）
pip install pyalink

以上是在Windows上解决pyalink安装问题的几种常见方法。根据你的具体情况，选择适合的方法进行尝试，希望能够帮助你成功安装pyalink。

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/591875

问题三：在机器学习PAI中的alink中不支持的算法 如果想扩展 该如何实现呢？

麻烦问下 alink中不支持的算法 如果想扩展 该如何实现呢？是不是必须动底层代码？应该不能用udf之类的来实现吧，我看udf只是支持固定的几种参数 而且是针对数据库的

参考回答：

在Alink中，如果遇到不支持的算法，可以通过以下方式进行扩展：

1. 使用自定义函数（UDF）：虽然UDF只支持固定的几种参数，但仍然可以通过编写自定义函数来实现对其他算法的支持。自定义函数可以在用户自定义的类中实现，并通过Alink提供的API进行注册和使用。
   
2. 修改底层代码：如果自定义函数无法满足需求，可以考虑直接修改Alink底层的代码。这需要对Alink的源代码进行深入理解，并具备一定的编程能力。需要注意的是，修改底层代码可能会引入新的问题和风险，因此在进行修改之前，请确保充分了解相关技术细节和可能的影响。
   

总之，扩展Alink中的算法可能需要一定的编程能力和对底层技术的深入了解。如果可能的话，建议先尝试使用自定义函数或查找现有的解决方案，以避免直接修改底层代码。

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/591876

问题四：机器学习PAI的“调度依赖”怎么选择已创建的user表和item表？

机器学习PAI的“调度依赖”怎么选择已创建的user表和item表？

参考回答：

在阿里云机器学习PAI平台上，调度依赖通常指的是在构建机器学习工作流时，不同任务之间的依赖关系。如果你的机器学习任务需要基于已有的MaxCompute表（如user表和item表），你不需要在“调度依赖”环节选择这些表，而是在构建任务的脚本或配置中直接引用这些表。

例如，在编写SQL脚本、Spark作业或者PAI Notebook中，直接通过表名引用这些表进行数据读取和预处理操作。确保在执行任务的环境中，这些表已经被正确创建并且具有访问权限。

以下是一个简化的示例，假设你在MaxCompute SQL脚本中使用已创建的user表和item表：

-- 在PAI notebook或MaxCompute SQL任务中
-- 引用已存在的user表和item表
SELECT ...
FROM user_table AS user
JOIN item_table AS item ON user.user_id = item.user_id;

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/592864

问题五：在机器学习PAI不走调度，直接点运行，控制台提示没有feature_store_py这个库，为什么？

在机器学习PAI不走调度，我直接点运行，控制台提示没有feature_store_py这个库，为什么？

参考回答：

在阿里云机器学习PAI平台上，如果你直接运行一个脚本或任务，并且该脚本依赖于名为feature_store_py的库，但在执行过程中遇到“找不到此库”的错误提示，可能的原因有以下几个方面：

1. 库未安装：在你所使用的PAI Notebook环境或运行环境中，feature_store_py库并未预先安装。PAI平台上的环境通常是基于容器或其他隔离机制，每个环境初始化时需要显式安装所需的第三方Python库。
   
2. 功能商店库问题：feature_store_py可能是指向阿里云机器学习平台中的特征存储相关SDK或模块。如果这是特定于阿里云机器学习服务的功能，那么你可能需要正确配置并启用特征存储服务，并确保在代码中正确引用了相应的SDK包。
   
3. 版本兼容性问题：即使该库存在于PAI环境的某个版本中，但你的代码可能需要特定版本的库，而当前环境下的版本并不匹配。
   

解决方法包括：

• 在运行脚本前，通过PAI Notebook或终端界面使用pip或conda等包管理工具安装缺失的库，例如：

!pip install feature_store_py

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/592865