机器学习PAI如果是定长的，为什么这个ParquetDataset这个接口直接指定字段名就行？
机器学习PAI如果是定长的DataFrame.Field('A', tf.int64, shape=[32])；如果是变长的，DataFrame.Field('A', tf.int64, ragged_rank=1)，为什么这个read_parquet接口需要指定字段类型，ParquetDataset这个接口直接指定字段名就行？
写回答
-
公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com阿里云机器学习PAI中的ParquetDataset接口指定字段名是因为在Parquet文件中，每个字段都有其自己的元数据，包括字段名、数据类型、编码等信息。因此，ParquetDataset接口可以直接根据字段名来读取数据，而不需要知道数据的实际长度。这样可以大大简化数据读取的过程，提高数据读取的效率。同时，Parquet文件还支持列式存储，可以按需读取单个字段，进一步提高数据读取的速度和效率。
2023-04-25 21:58:42赞同 展开评论 打赏 -
参考文档https://deeprec.readthedocs.io/zh/latest/ParquetDataset.html与接口无关，看filename的类型，能直接拿到文件名的话可以解析文件，此回答整理自钉群“DeepRec用户群”2023-04-25 19:26:05赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
