开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习中读oss数据,是读文件,还是只是输出oss的文件路径?

4de8b7f5ef7da592578598af06fe6b0a.png 机器学习中读oss数据,是读文件,还是只是输出oss的文件路径?我试了一下,它的输出只是文件路径而已,没有输出文件的内容

展开
收起
冰激凌甜筒 2023-04-18 15:32:24 259 0
4 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云机器学习PAI可以通过读取OSS文件的方式获取数据,并对数据进行分析和处理。

    在PAI中,通常会使用OSS URI(Uniform Resource Identifier)指定要读取的OSS文件路径。因此,PAI会直接从OSS中读取文件内容,而不是只输出文件路径。

    具体来说,您只需要在PAI作业的配置中指定OSS URI,并使用相应的数据引擎(例如TensorFlow、PyTorch等)来读取数据即可。

    以下是一个使用TensorFlow读取OSS文件的示例代码:

    import tensorflow as tf
    
    image_uri = 'oss://your-bucket/your-path/image.jpg'
    image_data = tf.keras.utils.get_file('image.jpg', image_uri)
    
    image = tf.io.decode_jpeg(image_data, channels=3) # 解码JPEG文件为Tensor
    

    在上述示例中,get_file()方法可以自动从image_uri指定的OSS文件路径中下载文件,并返回文件内容。然后,可以使用decode_jpeg()方法解码JPEG文件,最终得到一个Tensor对象。

    2023-04-30 13:25:44
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    机器学习读取OSS数据是根据提供的OSS文件路径读取文件内容数据,读取或者写入数据到OSS,指的就是读取指定文件路径下的文件本身的数据内容哈。

    2023-04-18 17:53:20
    赞同 展开评论 打赏
  • 是的,这个需要搭配其他组件使用,运行的oss这个节点会把路径传给下游组件,下游组件根据路径读取数据,此回答整理自钉群“机器学习PAI交流群(答疑@值班)”

    2023-04-18 17:41:37
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    在机器学习中,通常需要读取OSS中的数据进行训练和预测。一般来说,读取OSS中的数据需要先获取文件路径,然后再进行读取。因为OSS是一种对象存储服务,不同于传统的文件系统,它把数据以对象的形式存储,每一个对象都有一个唯一的Object Key,类似于文件路径。所以在读取OSS数据时,需要先根据Object Key获取文件路径,然后再进行读取操作。通常,数据量较大的情况下,我们会使用分布式的方式读取数据,以提高读取效率。

    2023-04-18 15:55:31
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载