什么是高性能计算的对象存储OSS-问答-阿里云开发者社区-阿里云

开发者社区> boxti> 正文

什么是高性能计算的对象存储OSS

2017-10-20 10:48:48 3595 0


应用场景


当用户需要将大量数据(几十GB到上TB)传输到HPC机器上时,使用scp拷贝有两个缺陷:(1)需要通过ECS中转数据,scp须执行两次;(2)数据太大时ECS自带磁盘容量很可能不够用;此时,使用OSS服务是比较理想的方式,无需ECS中转,直接实现端对端的传输,而且在HPC上通过内网访问OSS,速度更快、更稳定。本节介绍如何在HPC机器上使用OSS服务。

物理机访问OSS方法


首先登录阿里云官网,进入OSS控制台 https://oss.console.aliyun.com/index#/
点击Access Keys,“显示”Access Key,用手机短信验证。
拿到Access Key ID和Access Key Secret,用于鉴别身份。
创建一个Bucket,位于华东1区。其host为oss-cn-[backcolor=transparent] **-internal.aliyuncs.com,具体可以在控制台查到。
注意:目前GPU物理机通过内网只能访问华东1区的OSS服务
在HPC机器上运行:osscmd config --host=oss-cn-********-internal.aliyuncs.com \--id=用户的OSS Access Key ID  \--key=用户的OSS Access Key Secret
之后运行
osscmd ls
可以看到你创建的Bucket,说明配置成功,可以通过osscmd进行文件上传/下载操作。
先浏览有哪些bucket:# osscmd lsCreateTime           BucketLocation       BucketName2015-09-17 17:17:08  oss-cn-********      hpc-data-release2015-09-15 11:29:58  oss-cn-********      hpc100usersBucket Number is: 20.047(s) elapsed
可见有两个bucket,都位于华东1区。
进一步浏览其中一个bucket详细内容:# osscmd ls oss://hpc100usersprefix list is:object list is:2015-09-18 10:38:49 1066.97MB Standard oss://hpc100users/cuda_7.0.28_linux.run (oss://hpc100users/cuda_7.0.28_linux.run)prefix list number is: 0object list number is: 10.022(s) elapsed
注意OSS路径都以"oss://"开头,后面紧跟bucket名称,再向后为文件名或目录名。
下载命令:# osscmd get oss://Bucket名称/文件名称 本地文件名称
测试下载:# osscmd get  oss://hpc-data-release/cuda_7.0.28_linux.run cuda_7.0.28_linux.run100%  The object cuda_7.0.28_linux.run is downloaded to cuda_7.0.28_linux.run, please check.61.593(s) elapsed
下载cuda_7.0.28_linux.run到本地用时61.593s,该文件大小为1066.97MB,下载速度约为17.3 MB/s上传命令:# osscmd put  本地文件名称 oss://Bucket名称/文件名称
测试上传:# osscmd put cuda_7.0.28_linux.run oss://hpc-data-release/cuda_7.0.28_linux.run100%Object URL is: http://hpc-data-release.oss-cn-********-internal.aliyuncs.com/cuda_7.0.28_linux.runObject abstract path is: oss://hpc-data-release/cuda_7.0.28_linux.runETag is "312AEDE1C3D1D3425C8CAA67BBB7A55E"61.287(s) elapsed

常见问题


运行osscmd ls后报错如下:Error Headers:[('content-length', '467'), ('server', 'AliyunOSS'), ('connection', 'keep-alive'), ('x-oss-request-id', '56921E152530B7D05CA805DD'), ('date', 'Sun, 10 Jan 2016 09:02:13 GMT'), ('content-type', 'application/xml')]Error Body:<?xml version="1.0" encoding="UTF-8"?><Error><Code>RequestTimeTooSkewed</Code><Message>The difference between the request time and the current time is too large.</Message><RequestId>56921E152530B7D05CA805DD</RequestId><HostId>oss-cn-********-internal.aliyuncs.com</HostId><MaxAllowedSkewMilliseconds>900000</MaxAllowedSkewMilliseconds><RequestTime>2015-10-09T16:00:04.000Z</RequestTime><ServerTime>2016-01-10T09:02:13.000Z</ServerTime></Error>Error Status:403ls Failed!
这是由于HPC机器日期与OSS服务器日期差别太大造成的。通过date命令修改日期时间为正确的时间即可。
取消 提交回答
全部回答(0)
相关问答

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 223066浏览量 回答数 162

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292372浏览量 回答数 110

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 135644浏览量 回答数 42

294

回答

Linux Bash严重漏洞修复紧急通知(已全部给出最终修复方案)

qilu 2014-09-25 13:26:50 431660浏览量 回答数 294

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149601浏览量 回答数 82

249

回答

【史上最详细】阿里云ECS安装wordpress教程

爱映疯wp 2014-03-09 23:55:43 251223浏览量 回答数 249

40

回答

阿里云ecs从购买到环境搭建和建站!!(phpstudy一件包)

梦丫头 2014-07-29 20:51:49 162143浏览量 回答数 40

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471627浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204040浏览量 回答数 2

13

回答

游戏云精彩帖汇总

nono20011908 2014-08-22 11:00:12 203671浏览量 回答数 13
+关注
boxti
12535
10037
文章
1327
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载