如何进行导入数据? -问答-阿里云开发者社区-阿里云

开发者社区> 小天使爱美> 正文

如何进行导入数据?

2020-03-23 17:09:47 240 1

弹性高性能计算E-HPC如何进行导入数据?

取消 提交回答
全部回答(1)
  • 小天使爱美
    2020-03-23 17:15:04

    上传数据 用户作业数据及执行文件主要通过对象存储OSS导入E-HPC集群。

    若您尚未创建OSS或不了解OSS,请参考OSS主页和开通OSS。请尽可能选择与E-HPC集群Region相同的区域开通。

    开通OSS后还需创建bucket,请参考创建存储空间,并详细了解访问域名及相关说明。

    用户首先把作业相关文件上传到OSS Bucket中,请参考OSS上传文件。

    导入文件 登录后即可通过HTTP访问VPC网络Endpoint导入作业文件。

    这里假定用户的作业脚本为test.py,作业数据为test.data;E-HPC集群和OSS都创建在华东1区域;存放作业文件的OSS Bucket名为e-hpc-quickstart,test.py和test.data放在该bucket根目录下。

    cd /ehpcdata wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py wget http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data 若当前系统镜像没有安装wget可以通过软件源安装(如’yum install wget’)。或改用curl

    curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.py curl -O http://e-hpc-quickstart.vpc100-oss-cn-hangzhou.aliyuncs.com/test.data 私有Bucket文件访问临时链接 若Bucket设置为私有访问,则可通过OSS控制台界面点选所需文件,获取临时含签名的URL(带有临时OSSAccessKeyId等参数的访问链接)进行导入,如:

    OSS_Signature

    自定义签名有效时间后,单击复制文件URL即可获取外部可临时访问的URL。

    0 0
0
文章
3151
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载