开发者社区> 问答> 正文

如何进行导入数据?

弹性高性能计算E-HPC如何进行导入数据?

展开
收起
小天使爱美 2020-03-23 17:09:47 754 0
1 条回答
写回答
取消 提交回答
  • 上传数据 用户作业数据及执行文件主要通过对象存储OSS导入E-HPC集群。

    若您尚未创建OSS或不了解OSS,请参考OSS主页和开通OSS。请尽可能选择与E-HPC集群Region相同的区域开通。

    开通OSS后还需创建bucket,请参考创建存储空间,并详细了解访问域名及相关说明。

    用户首先把作业相关文件上传到OSS Bucket中,请参考OSS上传文件。

    导入文件 登录后即可通过HTTP访问VPC网络Endpoint导入作业文件。

    这里假定用户的作业脚本为test.py,作业数据为test.data;E-HPC集群和OSS都创建在华东1区域;存放作业文件的OSS Bucket名为e-hpc-quickstart,test.py和test.data放在该bucket根目录下。

    cd /ehpcdata wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data 若当前系统镜像没有安装wget可以通过软件源安装(如’yum install wget’)。或改用curl

    curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data 私有Bucket文件访问临时链接 若Bucket设置为私有访问,则可通过OSS控制台界面点选所需文件,获取临时含签名的URL(带有临时OSSAccessKeyId等参数的访问链接)进行导入,如:

    OSS_Signature

    自定义签名有效时间后,单击复制文件URL即可获取外部可临时访问的URL。

    2020-03-23 17:15:04
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载