问题一:机器学习PAI把raw_feature放到倒数第二个,最后生成的数据表中,最后就都按照位置来区分吗?
机器学习PAI把raw_feature放到倒数第二个,最后生成的数据表中,features里面所有的特征都只有特征值,没有特征名了,最后就都按照位置来区分吗?
参考回答:
是的,都是按照位置区分;不是按照内容区分
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/580773
问题二:机器学习PAI-tf的自定义op怎么办呢?
机器学习PAI-tf的自定义op怎么办呢?
参考回答:
在机器学习PAI中,如果需要使用自定义操作(Op),可以参考以下步骤:
- 首先,编写Python op算子或函数以实现你的计算逻辑。这是推荐的方式,因为它可以利用TensorFlow原生的op算子及其依赖关系。
- 接下来,在训练脚本或配置文件中使用TensorFlow的相关API来加载和使用自定义操作。确保在模型构建过程中正确引用和使用自定义操作。
- 为了验证自定义操作的正确性,可以创建测试程序。例如,可以在
tensorflow/python/kernel_tests/
目录下创建一个测试文件,如zero_out_op_test.py
,并编写相应的测试代码。 - 如果你的自定义操作是基于C++实现的,需要在C++代码中包含相应的头文件,并在其中声明用户自定义Op。例如,可以使用
#include "tensorflow/cc/ops/user_ops.h"
进行声明。 - 最后,将自定义操作编译为so库,并在Python代码中使用
tf.load_op_library()
方法加载它。例如,可以在/custom-op/tensorflow_zero_out/python/ops/
目录下给出一个简单的测试文件,内容如下:
import tensorflow as tf zero_out_module = tf.load_op_library('_zero_out_ops.so') print(zero_out_module.zero_out( [[1, 2], [3, 4]]).numpy())
- 运行这段代码,可以看到custom op的效果。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/579651
问题三:机器学习PAI training ,blade里是怎么做的?有没有相关描述文档怎么优化的?
机器学习PAI training ,blade里是怎么做的?有没有相关描述文档怎么优化的?
参考回答:
https://mp.weixin.qq.com/s/zhOnQsK1ynSkn7-bAaWCfw 可以参考下这个文章,以及一些更细节的优化 pass 可以参考:https://github.com/alibaba/BladeDISC/blob/main/docs/developers/pass_pipeline.md#memory-optimization-passes
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/580789
问题四:机器学习PAI task不学习要怎么设置?
机器学习PAI task不学习要怎么设置?
参考回答:
input多配置个treat,然后这个treat设置在label_fields中
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/582132
问题五:机器学习Pai studio是否支持本地的自定义算法模型上传?
"机器学习Pai studio是否支持本地的自定义算法模型上传?
"
参考回答:
1、自定义组件参考这个文档:https://help.aliyun.com/zh/pai/user-guide/create-a-custom-component?spm=a2c4g.11186623.0.0.1b775aa272fS1Z
2、这些数据都是存在mc里面,pai这边不能导出
关于本问题的更多回答可点击原文查看: