AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

这个在机器学习PAI里config设置了啊，为啥还报错？

问题1：INFO:tensorflow:Calling model_fn. [2023-05-12 16:22:02,669][INFO] Calling model_fn. [2023-05-12 16:22:02,670][INFO] shared embeddings[num=0] Traceback (most recent call last): File "../easy_rec/python/train_eval.py", line 165, in args.check_mode) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py", line 333, in _train_and_evaluate_impl estimator_train.train_and_evaluate(estimator, train_spec, eval_spec) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/compat/estimator_train.py", line 84, in train_and_evaluate result = executor.run() File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/training.py", line 613, in run return self.run_local() File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/training.py", line 714, in run_local saving_listeners=saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/easy_rec_estimator.py", line 92, in train max_steps, saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 370, in train loss = self._train_model(input_fn, hooks, saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 1161, in _train_model return self._train_model_default(input_fn, hooks, saving_listeners) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 1191, in _train_model_default features, labels, ModeKeys.TRAIN, self.config) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/estimator.py", line 1149, in _call_model_fn model_fn_results = self._model_fn(features=features, **kwargs) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/easy_rec_estimator.py", line 600, in _model_fn return self._train_model_fn(features, labels, config) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/easy_rec_estimator.py", line 131, in _train_model_fn is_training=True) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/model/deepfm.py", line 34, in init self._wide_features, _ = self._input_layer(self._feature_dict, 'wide') File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/input_layer.py", line 96, in call features, group_name, feature_name_to_output_tensors) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/input_layer.py", line 165, in single_call_input_layer self._fc_parser) File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/feature_column/feature_group.py", line 34, in select_columns wide_columns = [fc.wide_columns[x] for x in self._config.feature_names] File "/data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/feature_column/feature_group.py", line 34, in wide_columns = [fc.wide_columns[x] for x in self._config.feature_names] KeyError: 'title'这个在机器学习PAI里config设置了啊，为啥还报错？

问题2：train_input_path: "/data/xulianming/EasyRec/data/trainV2.csv" eval_input_path: "/data/xulianming/EasyRec/data/testV2.csv" model_dir: "/data/xulianming/EasyRec/conf/DeepFM/_ckpt/"

train_config { log_step_count_steps: 500 # fine_tune_checkpoint: "" optimizer_config: { adam_optimizer: { learning_rate: { exponential_decay_learning_rate { initial_learning_rate: 0.0001 decay_steps: 500 decay_factor: 0.5 min_learning_rate: 0.0000001 } } } use_moving_average: false }

sync_replicas: true save_checkpoints_steps: 1000 num_steps: 2000 }

eval_config { metrics_set: { auc {} } }

data_config { separator: "," input_fields: { input_name: "user_id" input_type: STRING default_val:"" } input_fields: { input_name: "office_id" input_type: STRING default_val:"" } input_fields: { input_name: "user_name" input_type: STRING default_val:"" } input_fields: { input_name: "ip" input_type: STRING default_val:"" } input_fields: { input_name: "device" input_type: STRING default_val:"" } input_fields: { input_name: "province" input_type: STRING default_val:"" } input_fields: { input_name: "city" input_type: STRING default_val:"" } input_fields: { input_name: "browser" input_type: STRING default_val:"" } input_fields: { input_name: "network" input_type: STRING default_val:"" } input_fields: { input_name: "os" input_type: STRING default_val:"" } input_fields: { input_name: "version" input_type: STRING default_val:"" } input_fields: { input_name: "timestamp" input_type: STRING default_val:"" } input_fields: { input_name: "item_id" input_type: STRING default_val:"" } input_fields: { input_name: "block" input_type: STRING default_val:"" } input_fields: { input_name: "ctr" input_type: INT64 default_val:"0" } input_fields: { input_name: "title" input_type: STRING default_val:"" } input_fields: { input_name: "query" input_type: STRING default_val:"" } label_fields: "ctr"

batch_size: 8192 prefetch_size: 64 input_type: CSVInput }

feature_config: { features: { input_names: "user_id" feature_type: IdFeature hash_bucket_size: 1000000 embedding_dim: 16 } features: { input_names: "office_id" feature_type: IdFeature hash_bucket_size: 4 embedding_dim: 16 } features: { input_names: "user_name" feature_type: IdFeature hash_bucket_size: 10 embedding_dim: 16 } features: { input_names: "ip" feature_type: IdFeature embedding_dim: 16 hash_bucket_size: 50 } features: { input_names: "device" feature_type: IdFeature embedding_dim: 16 hash_bucket_size: 500000 } features : { input_names: 'province' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'city' feature_type: IdFeature hash_bucket_size: 400 embedding_dim: 16 } features : { input_names: 'browser' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'network' feature_type: IdFeature hash_bucket_size: 4 embedding_dim: 16 } features : { input_names: 'os' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'version' feature_type: IdFeature hash_bucket_size: 20 embedding_dim: 16 } features : { input_names: 'item_id' feature_type: IdFeature hash_bucket_size: 10000 embedding_dim: 16 } features : { input_names: 'block' feature_type: IdFeature hash_bucket_size: 40 embedding_dim: 16 } features : { input_names: 'title' feature_type: SequenceFeature hash_bucket_size: 20000 embedding_dim: 16 sequence_combiner: { text_cnn:{ filter_sizes:[2,3,4] num_filters:[16,8,8] } }
} features : { input_names: 'query' feature_type: SequenceFeature hash_bucket_size: 200000 embedding_dim: 32 sequence_combiner: { text_cnn:{ filter_sizes:[2,3,4] num_filters:[16,8,8] } }
}
}

model_config:{ model_class: "DeepFM" feature_groups: { group_name: "deep" feature_names: "user_id" feature_names: "office_id" feature_names: "user_name" feature_names: "ip" feature_names: "device" feature_names: "province" feature_names: "city" feature_names: "browser" feature_names: "network" feature_names: "os" feature_names: "version" feature_names: "item_id" feature_names: "block" feature_names: "title" feature_names: "query" wide_deep:DEEP } feature_groups: { group_name: "wide" feature_names: "user_id" feature_names: "office_id" feature_names: "user_name" feature_names: "ip" feature_names: "device" feature_names: "province" feature_names: "city" feature_names: "browser" feature_names: "network" feature_names: "os" feature_names: "version" feature_names: "item_id" feature_names: "block" feature_names: "title" feature_names: "query" wide_deep:WIDE }

deepfm { wide_output_dim: 16

dnn {
  hidden_units: [128, 64, 32]
}

final_dnn {
  hidden_units: [128, 64,32]
}
l2_regularization: 1e-5

} embedding_regularization: 1e-7 } [2023-05-12 16:21:56,540][WARNING] pyhive is not installed. WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:45: The name tf.GPUOptions is deprecated. Please use tf.compat.v1.GPUOptions instead.

[2023-05-12 16:21:57,039][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:45: The name tf.GPUOptions is deprecated. Please use tf.compat.v1.GPUOptions instead.

WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:46: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.

[2023-05-12 16:21:57,039][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/main.py:46: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.

WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/layer_norm.py:9: The name tf.layers.Layer is deprecated. Please use tf.compat.v1.layers.Layer instead.

[2023-05-12 16:21:57,048][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/layers/layer_norm.py:9: The name tf.layers.Layer is deprecated. Please use tf.compat.v1.layers.Layer instead.

WARNING:tensorflow: The TensorFlow contrib module will not be included in TensorFlow 2.0. For more information, please see: * https://github.com/tensorflow/community/blob/master/rfcs/20180907-contrib-sunset.md * https://github.com/tensorflow/addons * https://github.com/tensorflow/io (for I/O related ops) If you depend on functionality not listed there, please file an issue.

[2023-05-12 16:21:57,051][WARNING] The TensorFlow contrib module will not be included in TensorFlow 2.0. For more information, please see: * https://github.com/tensorflow/community/blob/master/rfcs/20180907-contrib-sunset.md * https://github.com/tensorflow/addons * https://github.com/tensorflow/io (for I/O related ops) If you depend on functionality not listed there, please file an issue.

WARNING:tensorflow:From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/input/csv_input.py:14: ignore_errors (from tensorflow.contrib.data.python.ops.error_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.data.experimental.ignore_errors(). [2023-05-12 16:21:57,364][WARNING] From /data/soft/anaconda3/envs/xurec/lib/python3.7/site-packages/easy_rec-0.6.2-py3.7.egg/easy_rec/python/input/csv_input.py:14: ignore_errors (from tensorflow.contrib.data.python.ops.error_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.data.experimental.ignore_errors(). easy_rec version: 0.6.2 Usage: easy_rec.help() WARNING:t

展开
收起
三分钟热度的鱼 2023-05-14 20:37:34 246 0
2 条回答
写回答
取消 提交回答
  • ReaganYoung
    值得去的地方都没有捷径

    1.这个错误信息显示 KeyError: ‘title’，说明在特征组件中没有找到名为 ‘title’ 的特征列。您需要检查一下您的特征工程代码，确认是否正确地将 ‘title’ 这个特征列添加到了特征组件中。如果确认特征工程代码没有问题，您还需要检查一下您的数据是否包含 ‘title’ 这个特征列。如果数据中没有 ‘title’ 这个特征列，您需要先对数据进行预处理，将 ‘title’ 这个特征从原始数据中提取出来，并将其添加到特征工程中。 2.这段配置文件中没有明显的错误，但需要注意以下几点：

    特征列的类型和名称是否正确，特别是在 feature_config 中，需要确保每个特征列的名称和类型与数据中的列名和类型一致。

    DeepFM 模型中的参数设置是否合理，例如 embedding_dim、hidden_units、l2_regularization 等参数是否适合当前的数据集和模型结构。

    训练和评估数据的路径是否正确，需要确保 train_input_path 和 eval_input_path 的路径与实际存储的数据路径一致。

    物理网络蓝图和部署环境蓝图是否正确，需要确保环境变量和依赖库的配置正确。

    您可以先检查以上几点，如果还有问题，请提供完整的错误信息，我将会尽力帮助您解决问题。

    2023-05-15 07:54:27
    赞同 展开评论 打赏
  • 圆不溜秋的小猫猫

    针对问题1的回答：logview 和 config文件发一下看看。 针对问题2的回答：目前wide侧不支持添加SequenceFeature，所以需要把 title、query 从wide侧移除掉。此回答整理自钉群：“【EasyRec】推荐算法交流群”

    2023-05-14 21:01:27
    赞同 展开评论 打赏
问答分类：
机器学习/深度学习 TensorFlow 算法框架/工具 Python 人工智能平台 PAI GPU云服务器 函数计算
问答标签：
机器学习人工智能平台 PAI 人工智能平台 PAI设置 人工智能平台 PAI报错 配置审计设置 人工智能平台 PAI pai
问答地址：
开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 问答
相关产品：
人工智能平台 PAI

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
人工智能平台PAI
机器学习PAI这个错误都没有float类型，报错为说expect float，这种咋理解呢？
40
1
0
在机器学习PAI中，模型 predict 有个报错，是什么原因？
45
1
0
在机器学习PAI中，加了难负样本就报错了，是不是难负样本导致的？
52
1
0
机器学习PAI 还是一样报错怎么办？
40
0
0
请教下ModelScope的语音唤醒模型 训练的过程中报错，怎么解决？
45
0
0
机器学习PAI训练模型的时候有个 tf 的报错，可以帮忙看下吗？
29
0
0
pai -designer，读csv文件时一直报错。
55
1
0
mPaaS uniapp 离线打包，按照文档配置了，为什么提示没有配置mPaas Config文件？
71
0
0
在OceanBase数据库，这个要不全量切换inner_config里作为可配置的初始化配置嘛？
20
1
0
在Seata中客户端还需要配置config和registry里面的东西吗？
47
0
0
大数据与机器学习

人工智能平台PAI

人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。

我要提问

相关产品

  • 人工智能平台 PAI
    文档详情 产品详情

    • 热门讨论

    热门文章

  • P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
    8156
  • AI生成海报or人工手绘，哪个更戳你？
    2572
  • 为什么我的天池notebook中，无法创建notebook文件，也无法显示我的天池文档等内容。
    1154
  • 在api调用夸克搜索时，遇到权限不足问题
    473
  • 在运行cosyvoice的时候 找不到gradio
    26
  • 机器学习PAI有没有类似colab这种免费的在线Notebook代码编辑运行环境啊？
    540
  • 为什么我的DSW，文件区没有显示我的notebook内容，也没有显示我的天池文档等部分
    550
  • 灵积平台上，用通义千问的开源大模型接口响应非常慢
    294
  • AUC 为何越训练越低？DSSM 中这个有用吗？只有user 和item 塔可以去掉这个么？
    762
  • 通义千问 HTTP请求多轮对话的方式是什么格式的，文档里的没法实现，需要帮助，谢谢
    981
    • 展开全部
  • 【玩转数据系列二】机器学习应用没那么难，这次教你玩心脏病预测
    27212
  • 【玩转数据系列十五】机器学习PAI为你自动写歌词，妈妈再也不用担心我的freestyle了（提供数据、代码）
    20755
  • 【玩转数据系列六】文本分析算法实现新闻自动分类
    19466
  • 【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分
    15064
  • 【玩转数据系列五】农业贷款发放预测
    11543
  • 【玩转数据系列四】听说啤酒和尿布很配？本期教你用协同过滤做推荐
    14762
  • PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork
    6964
  • 【数据科学老司机在线教学第二期】阿里云大数据生态协同过滤推荐系统实战
    5277
  • 心脏病预测案例
    2882
  • 机器学习PAI 可视化建模 Tensorflow升级通知
    3153
    • 展开全部

    相关课程

    更多
  • 微服务实战-分布式配置中心 - Config
    2626
    1
    去学习
  • 场景实践 - 机器学习PAI实现精细化营销
    220
    7
    去学习
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
    178
    8
    去学习
  • 场景实践 - 基于机器学习进行收入预测分析
    107
    6
    去学习
  • 机器学习概览及常见算法
    32744
    13
    去学习
  • 机器学习入门-概念原理及常用算法
    13577
    8
    去学习

    • 相关文章

  • 《智驱新材变革：人工智能赋能新材料柔性制造新时代》
  • 农历节日倒计时：基于Python的公历与农历日期转换及节日查询小程序
  • 深度学习的原理与应用：开启智能时代的大门
  • Pandas数据类型转换：astype与to_numeric
  • LeCun赞转！类Sora模型能否理解物理规律？字节豆包大模型团队系统性研究揭秘

    • 相关电子书

    更多
    • 大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    机器学习及人机交互实战 立即下载

    相关实验场景

    更多
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
    580
    1.0小时
    去实验
  • 在PAI ArtLab一键实现欧洲杯粉丝专属贴纸制作
    990
    1.0小时
    去实验
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
    226
    1.0小时
    去实验
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
    247
    1.0小时
    去实验