开发者社区> 不三-01> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

FPGA资源平民化 - 阿里云FaaS F2使用指南

简介: 前言 阿里云虚拟化团队异构计算和高性能计算团队一直致力于将计算资源"平民化";平民化这个词我第一次是从高性能计算团队何万青老师那边听到的,他们在做的E-HPC就是要让所有云上用户都能够瞬间拥有一个小型的超算集群,使得使用超算不再仅仅是一些超算中心和高校的特权;我们异构计算团队则致力于将目前最快,最.
+关注继续查看

前言

阿里云虚拟化团队异构计算和高性能计算团队一直致力于将计算资源"平民化";平民化这个词我第一次是从高性能计算团队何万青老师那边听到的,他们在做的E-HPC就是要让所有云上用户都能够瞬间拥有一个小型的超算集群,使得使用超算不再仅仅是一些超算中心和高校的特权;我们异构计算团队则致力于将目前最快,最新的计算设备在云上提供给用户,之前的产品为GPU云服务器EGS;大概半年前我们正式推出了FPGA云服务器FaaS;经过内测,公测,现在终于正式上线,用户只需要开通白名单就可以和使用ECS虚拟机一样使用FPGA资源了!

FaaS介绍

FaaS,全名FPGA as a Service,是一种在云上使用FPGA的方式;我们现在支持两种不同的实例,分别为:

实例型号 FPGA型号
F1 intel A10
F2 Xilinx ku115

F2从入门到放弃

准备

新建子帐号(可选)

建议用户新建一个子帐号,并使用子帐号来操作阿里云资源,通过授权子帐号必要的权限,来保证安全!

  1. 登陆阿里云RAM控制台

1.png | center | 1426x733

  1. 在左侧边栏位置选择[用户管理] -> [新建用户]

2.png

  1. 在弹出的创建用户的表单中填写:用户名,显示名,邮箱,电话等信息,选中为该用户自动生成AccessKey,点击确定

3.png

  1. 在弹出的窗口中保存用户的AK/AS,这里请一定要记住AK/AS,后续操作都会需要用到这个信息!

4.png

  1. 至此,RAM子帐号已经创建好,接下来需要给该子帐号授权!
  2. 在RAM控制台里,选中左侧的[用户管理]标签,可以看到刚刚新建的RAM子帐号,点击[授权]按钮,进行子帐号授权

5.png

  1. 至少给该子帐号授予如下权限:AliyunOSSFullAccess, AliyunECSFullAccess, AliyunRAMFullAccess & AliyunSTSAssumeRoleAccess;选中后点击确定即可

6.png

开通OSS,并创建一个专用的bucket

FaaS的镜像相关操作依赖于阿里云OSS存储,因此用户必须开通OSS服务;同时我们建议用户新建一个专有的bucket,用来存储您自己的FPGA镜像中间结果

开通OSS(如果已经开通请忽略这一步)
  1. 登陆OSS售卖页面,点击立即开通

    1.png

在华东1区新建一个bucket

建议用户新建一个bucket,专门用于FaaS服务,因此这个bucket会对aliyun官方管理帐号开通读写权限,因此不建议用户存储和FaaS不相关内容;请记住这个bucket名字,在后续操作中会经常用到

  1. 登陆OSS管理控制台
  2. 点击左上方的"+"号,新建一个bucket

    2.png

  3. 在右侧弹出的对话框中给这个bucket起一个名字,选择区域为华东1,点击确定

    3.png

  4. 可以在左侧看到刚刚创建的bucket

    4.png

购买

To 预算比较紧张,购买按量付费的用户: 考虑到F2实例价格比普通ECS价格高一些,因此建议用户在调试,编译阶段采用普通ECS;建议使用阿里云计算型实例,4核以上;在完成调试和编译后,真正需要下载到FPGA里运行时,再购买F2实例;

  1. 目前购买F2实例仍然需要开白名单,请用户提工单(或者联系阿里云BD)提供自己的阿里云帐号
  2. 开通白名单后,在阿里云官网购买页面直接购买,请选择华东1,可用区B,VPC网络;F2目前支持按量付费包年包月两种售卖方式;实例规格请选择异构计算FPGA计算型

1.png
2.png

  1. Xilinx的开发环境,我们准备了一个镜像,用户直接使用该镜像创建实例即可;该镜像后期会在镜像市场免费提供给用户,目前还只能通过共享镜像的方式提供,因此用户在选择镜像时,请选择共享镜像;如果在共享镜像里看不到镜像,需要提工单(或者联系阿里云BD)
    1.png

F2 实例OpenCL开发最佳实践

这里我们以使用普通计算型实例做编译和仿真,以F2实例作为最终运行为例;当然,编译和仿真也完全可以在F2实例上完成,这样更简单

编译,仿真

对于按量用户,建议使用更加便宜的普通ECS实例(建议使用计算型4核以上实例)进行编译和仿真,因为这时候不需要真正使用到FPGA;购买普通ECS实例和购买F2实例类似,只是在选择实例规格时,选择型号不同,但是依然要使用我们共享的镜像

  1. 首先配置SDx环境

    source /opt/Xilinx/SDx/2017.2/settings64.sh 
  2. 运行SDx自带demo:

    cd /opt/Xilinx/SDx/2017.2/examples/vadd

查看在当前目录下sdaccel.mk里面的platform(第60行)是否为

XDEVICE=xilinx_kcu1500_4ddr-xpr_4_0

改common.mk文件

vim ../common/common.mk

把第61行

CLCC_OPT += $(CLCC_OPT_LEVEL) ${DEVICE_REPO_OPT} --platform ${XDEVICE} -o ${XCLBIN} ${KERNEL_DEFS} ${KERNEL_INCS}

改成

CLCC_OPT += $(CLCC_OPT_LEVEL) ${DEVICE_REPO_OPT} --platform ${XDEVICE} -o ${XCLBIN} ${KERNEL_DEFS} ${KERNEL_INCS} --xp param:compiler.acceleratorBinaryContent=dcp

软件仿真

 make -f sdaccel.mk run_cpu_em
看结果是否PASSED
![1.png](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/bcc1b065a6eb856d46701c1a4d7ddf3f.png)

直接运行
export  XCL_EMULATION_MODE=true    #一定要设置这个环境变量,不然会报错,找不到设备
./vadd bin_vadd_cpu_emu.xclbin
#如果报如下错:Error: Unable to find Target Device xilinx_kcu1500_4ddr-xpr_4_0;请检查XCL_EMULATION_MODE是否为true,如果没有,请设置:export  XCL_EMULATION_MODE=true

硬件仿真

 make -f sdaccel.mk cleanall
 make -f sdaccel.mk run_hw_em

看仿真结果是否PASSED

![2.png](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/958a3911637ac617e6145749a1dd64bf.png)

直接运行
export  XCL_EMULATION_MODE=true    #一定要设置这个环境变量,不然会报错,找不到设备
./vadd bin_vadd_cpu_emu.xclbin
#如果报如下错:Error: Unable to find Target Device xilinx_kcu1500_4ddr-xpr_4_0;请检查XCL_EMULATION_MODE是否为true,如果没有,请设置:export  XCL_EMULATION_MODE=true

编译

 make -f sdaccel.mk cleanall
 make -f sdaccel.mk xbin_hw
//其他一些操作
/*
make -f sdaccel.mk xbin_hw  #生成最终的二进制文件,时间比较长,差不多4个小时才能完成
make -f ./sdaccel.mk help  #查看帮助文档
#Compile and run CPU emulation using default xilinx:adm-pcie-7v3:1ddr:3.0 DSA
make -f sdaccel.mk run_cpu_em   //即:软件仿真
#Compile and run hardware emulation using default xilinx:adm-pcie-7v3:1ddr:3.0 DSA
make -f sdaccel.mk run_hw_em  //硬件仿真
#Compile host executable only
make -f sdaccel.mk host   //只编译host代码
#Compile XCLBIN file for system run only
make -f sdaccel.mk xbin_hw   //这个最重要,编译生成可以下载到FPGA内的二进制文件
#Clean working diretory
#make -f sdaccel.mk clean
#Super clean working directory
#make -f sdaccel.mk cleanall
*/

ps:此处编译的时间会比较久,建议通过screen或者nohub等方式,防止ssh timeout退出。

  1. 配置安全烧写环境

    source /root/xbinst_oem/F2_env_setup.sh
    faascmd config --id=<accessID> --key=<accessKey>  #id/key为阿里云accessID/accessKey,上述新建子帐号曾经保存过
    
    faascmd auth --bucket=<bucket_name>  #新建的OSS bucket 名字
  2. 编译成功后打包结果

     #如果/root/xbinst_oem/目录里没有sdaccel_package.sh,先下载:wget http://fpga-tools.oss-cn-shanghai.aliyuncs.com/sdaccel_package.sh
    /root/xbinst_oem/sdaccel_package.sh -xclbin=/opt/Xilinx/SDx/2017.2/examples/vadd/bin_vadd_cpu_emu.xclbin 

3.png

  1. 上传压缩包到自己的OSS指定的bucket

    faascmd upload_object --object=<在bucket中名字,建议和file一致> --file=<打包生成的结果,一个tar包>
  2. 新建一个可以在F2上运行的FPGA image

    faascmd create_image --object=<在bucket中名字,建议和file一致> --fpgatype=xilinx --name=hereIsFPGAImageName --tags=hereIsFPGAImageTag --encrypted=false --shell=V1.0
  3. 查看fpga image是否已经可以下载

    faascmd list_images

    214c7c10-695e-42a5-a1bc-968bc38023e1.png | center

我们看到状态已经是success,可以下载了。记下FPGAIamgeUUID,一会下载的时候需要用

下载

如何编译和仿真是在另外一台ECS上完成的,这里首先要购买一台F2实例;具体的购买过程参考购买章节

  1. 首先配置安全烧写环境(如果之前已经设置过,跳过)

    source /root/xbinst_oem/F2_env_setup.sh
    
    faascmd config --id=<accessID> --key=<accessKey>  #id/key为阿里云accessID/accessKey,上述新建子帐号曾经保存过
    
    faascmd auth --bucket=<bucket_name>  #新建的OSS bucket 名字
  2. 获取fpgauuid

    faascmd list_instances --instanceId=hereIsYourInstanceId

    vm instance Id:可以在阿里云控制台找到

00a2716a-0157-4170-b101-ef1356a70536.png | center

  1. 下载fpga image

    faascmd download_image  --instanceId=hereIsYourInstanceId --fpgauuid=hereIsFpgaUUID --fpgatype=xilinx --imageuuid=hereIsImageUUID --imagetype=afu --shell=V1.0
  2. 查看是否下载成功

    faascmd fpga_status --fpgauuid=hereIsFpgaUUID --instanceId=hereIsYourInstanceId

    a37dfcaf-7079-44b3-a512-c7135e6c8415.png | center

板卡上的FpgaImageUUID已经跟需要下载的image一致,并且TaskStatus已经valid,说明下载已经成功。

5.跑host程序

make -f sdaccel.mk host
unset XILINX_SDX
./vadd bin_vadd_hw.xclbin

3f52b65a-b730-4af3-8aa4-9840395a9b5f.png | center

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
快速集成阿里云资源到企业CMDB-配置审计
配置审计提供跨云产品、跨地域、跨账号的资源集成能力,可以帮助企业快速将阿里云资源集成到企业自建的CMDB中。
0 0
《阿里云资源保障服务,让您从容应对资源波峰》电子版地址
《阿里云资源保障服务,让您从容应对资源波峰》PPT
0 0
阿里云国际云迁移中心模板导入资源
该文档描述了云迁移中心CMH的模板调研服务的使用过程,通过这篇文档,将带您使用调研模板,并且一步步完成服务发现。
0 0
阿里云亮相中国互联网基础资源大会 飞天企业版推助IPv6创新实践
阿里云专有云亮相由工业和信息化部主办的第三届中国互联网基础资源大会。
0 0
阿里云林小平:如何实现资源高效运维及成本分析
通过标签功能进行资源运维及精细化的权限管理,实现高效能、低成本的目标。
0 0
终于等到阿里云的沙箱实验新上线的资源预开通功能了
作为阿里云开发者的实验室忠实老粉,一直很喜欢这种免费的云资源+实验手册指导形式的沙箱实验。说白了也是想薅着免费的云资源,还能顺便学习使用阿里云的各种各样的云产品。6月份实验室发起了一个云起导师计划,入驻成功之后,就可以拥有制作实验的权限,可以使用开放场景的功能,免费的获得到实验云产品资源自行的进行实验创作,但是每次都浪费在工作人员资源接入跟审核的漫长等待中,一直觉得提交实验流程比较复杂。终于终于,本周开放场景功能可以提前让创作者开通实验资源,对于老粉及云起导师来使用真的是方便太多太多。
0 0
这种精度高,消耗资源少的大模型稀疏训练方法被阿里云科学家找到了!已被收录到IJCAI
论文通过减少模型稀疏训练过程中需要更新的参数量,从而减少大模型稀疏训练的时间以及资源开销,是首个大模型参数高效的稀疏训练算法PST。
0 0
如何使用阿里云容器服务保障容器的内存资源质量
针对云原生场景下容器使用内存的困扰,阿里云容器服务 ACK 基于 Alibaba Cloud Linux 2 内核提供了容器内存服务质量(Memory QoS)功能,通过调配容器的内存回收和限流机制,保障内存资源公平性,改善应用的运行时内存性能。
0 0
使用阿里云操作审计(ActionTrail)自动继承父资源标签
# 使用阿里云操作审计(ActionTrail)自动继承父资源标签 ## 背景 标签被广泛应用于许多云上管理场景,比如资源管理、财务管理、自动化运维和权限管理。有了标签,资源就容易被聚类或者被索引,然而,对于许多用户而言,管理大量标签始终是一个挑战。特别是,当用户需要给一系列关联资源统一打标时。 云资源管理过程中,有很多场景需要创建一个功能模块,这个模块包含一个父资源和多个子资源。比如说,当
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
《阿里云资源保障服务,让您从容应对资源波峰》
立即下载
阿里云AI产品必知必会系列电子书
立即下载
阿里云云原生 Serverless 案例集
立即下载