机器学习PAI如果是定长的，为什么这个ParquetDataset这个接口直接指定字段名就行？
机器学习PAI如果是定长的DataFrame.Field('A', tf.int64, shape=[32])；如果是变长的，DataFrame.Field('A', tf.int64, ragged_rank=1)，为什么这个read_parquet接口需要指定字段类型，ParquetDataset这个接口直接指定字段名就行？
展开
收起
2
条回答
写回答
写回答
-
公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com阿里云机器学习PAI中的ParquetDataset接口指定字段名是因为在Parquet文件中，每个字段都有其自己的元数据，包括字段名、数据类型、编码等信息。因此，ParquetDataset接口可以直接根据字段名来读取数据，而不需要知道数据的实际长度。这样可以大大简化数据读取的过程，提高数据读取的效率。同时，Parquet文件还支持列式存储，可以按需读取单个字段，进一步提高数据读取的速度和效率。
2023-04-25 21:58:42赞同 展开评论 打赏 -
参考文档https://deeprec.readthedocs.io/zh/latest/ParquetDataset.html与接口无关，看filename的类型，能直接拿到文件名的话可以解析文件，此回答整理自钉群“DeepRec用户群”2023-04-25 19:26:05赞同 展开评论 打赏
问答分类：
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
DSW在机器学习平台PAI产品架构中的位置是怎样的？
2486
使用websocket请求asr 返回40000002错误码
51
为什么 PAI DSW中一直无法使用GPU加速tensorflow，如何使用GPU加速.
63
机器学习PAI alink支持图像识别吗？
35
dsw实例无法启动，卡在准备环境很久，然后显示以失败，求救
782
机器学习PAI这个算法python版本的一直报错可以看一下吗？
32
请教一下机器学习PAI 这个镜像部署之后，进入docker会报错?!
78
iTAG阿里的数据标注任务怎么对接呀？
573
通义灵码可以达到阿里几级程序员水平
28
机器学习PAI这里不能直接进特征平台吗？
50
展开全部
DeepRec Extension 打造稳定高效的分布式训练
76339
【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
48021
【玩转数据系列十五】机器学习PAI为你自动写歌词，妈妈再也不用担心我的freestyle了（提供数据、代码）
19512
【玩转数据系列六】文本分析算法实现新闻自动分类
18515
实践！如何用阿里云的机器学习得出泰坦尼克号沉船事件中谁有更大的概率获救
13531
【玩转数据系列四】听说啤酒和尿布很配？本期教你用协同过滤做推荐
14065
【玩转数据系列五】农业贷款发放预测
11334
基于协同过滤算法的推荐
9739
FM算法介绍
11189
【上报纸啦】95后大学生用机器学习PAI大战老年痴呆
8926
展开全部
