开发者社区 > 云原生 > 容器服务 > 正文

机器学习PAIdeeprec 可以读hdfs上的数据吗? 还是需要在容器中再加上hdfs的相关jar

机器学习PAIdeeprec 可以读hdfs上的数据吗? 还是需要在容器中再加上hdfs的相关jar包

展开
收起
冰激凌甜筒 2023-04-25 16:59:59 186 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云机器学习PAI DeepRec平台是可以读取HDFS上的数据的,无需再在容器中添加HDFS相关的jar包。您可以在PAI控制台或者PAI CLI中使用HDFS路径来指定数据路径,例如:

    hdfs://your-hdfs-path/data.csv
    

    在使用HDFS时,请确保您的PAI集群和HDFS集群之间的网络连接正常,并且您的PAI集群和HDFS集群之间已经建立了相应的访问权限。如果您遇到了无法从HDFS上读取数据的问题,可以检查一下网络连接和访问权限是否正常,或者尝试使用其他的数据源来进行测试。

    2023-04-25 22:03:02
    赞同 展开评论 打赏
  • DeepRec没有在编译的时候支持,你可以使用PAIIO读取,此回答整理自钉群“DeepRec用户群”

    2023-04-25 19:24:30
    赞同 展开评论 打赏

国内唯一 Forrester 公共云容器平台领导者象限。

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
基于机器学习的阿里智能助理-- 在电商领域的架构构建与实践 立即下载
机器能预报多久后的天气——机器学习和可预报性 立即下载