开发者社区> 问答> 正文

导入数据



传数据


用户作业数据及执行文件主要通过对象存储OSS导入E-HPC集群。


用户首先把作业相关文件上传到OSS Bucket中,请参考 OSS上传文件

导入文件


登录后即可通过HTTP访问VPC网络Endpoint导入作业文件。
这里假定用户的作业脚本为test.py,作业数据为test.data;E-HPC集群和OSS都创建在华东1区域;存放作业文件的OSS Bucket名为e-hpc-quickstart,test.py和test.data放在该bucket根目录下。
  1. [backcolor=transparent]cd [backcolor=transparent]/[backcolor=transparent]ehpcdata
  2. [backcolor=transparent]wget http[backcolor=transparent]://[backcolor=transparent]e[backcolor=transparent]-[backcolor=transparent]hpc[backcolor=transparent]-[backcolor=transparent]quickstart[backcolor=transparent].[backcolor=transparent]vpc100[backcolor=transparent]-[backcolor=transparent]oss[backcolor=transparent]-[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]hangzhou[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py
  3. [backcolor=transparent]wget http[backcolor=transparent]://[backcolor=transparent]e[backcolor=transparent]-[backcolor=transparent]hpc[backcolor=transparent]-[backcolor=transparent]quickstart[backcolor=transparent].[backcolor=transparent]vpc100[backcolor=transparent]-[backcolor=transparent]oss[backcolor=transparent]-[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]hangzhou[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]data

若当前系统镜像没有安装wget可以通过软件源安装(如’yum install wget’)。或改用curl
  1. [backcolor=transparent]curl [backcolor=transparent]-[backcolor=transparent]O http[backcolor=transparent]://[backcolor=transparent]e[backcolor=transparent]-[backcolor=transparent]hpc[backcolor=transparent]-[backcolor=transparent]quickstart[backcolor=transparent].[backcolor=transparent]vpc100[backcolor=transparent]-[backcolor=transparent]oss[backcolor=transparent]-[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]hangzhou[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py
  2. [backcolor=transparent]curl [backcolor=transparent]-[backcolor=transparent]O http[backcolor=transparent]://[backcolor=transparent]e[backcolor=transparent]-[backcolor=transparent]hpc[backcolor=transparent]-[backcolor=transparent]quickstart[backcolor=transparent].[backcolor=transparent]vpc100[backcolor=transparent]-[backcolor=transparent]oss[backcolor=transparent]-[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]hangzhou[backcolor=transparent].[backcolor=transparent]aliyuncs[backcolor=transparent].[backcolor=transparent]com[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]data


私有Bucket文件访问临时链接


若Bucket设置为私有访问,则可通过 OSS控制台界面点选所需文件,获取临时 含签名的URL(带有临时OSSAccessKeyId等参数的访问链接)进行导入,如:

自定义签名有效时间后,单击[backcolor=transparent]复制文件URL即可获取外部可临时访问的URL。

展开
收起
反向一觉 2017-10-26 13:48:16 1816 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
大批量处理excel文件到ODPS中方案 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载