开发函数计算的正确姿势 —— 使用 Fun NAS 管理 NAS 资源

简介: 前言 首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。

前言

首先介绍下在本文出现的几个比较重要的概念:

函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息 参考

Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。Fun 的更多文档 参考

NAS: 阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。在函数计算的场景中,由于其有代码包的限制,可以使用 NAS 存放一些不经常变动的文件,比如数据模型、静态资源等。参考

备注:请确保 Fun 工具版本在 2.16.0+

在很多函数计算的实战文章里,比如《开发函数计算的正确姿势——tensorflow serving》,我们通过 NAS 存放一些体积比较大且不易变动的资源。这使得即使在依赖比较大的场景下,我们依旧可以借助于函数计算快速开发一个 Serverless 应用。但 NAS 在帮助函数计算解决大依赖问题的同时,由于其自身的配置也比较复杂,也增加了函数计算的使用难度。

我们已经通过《开发函数计算的正确姿势 —— Fun 自动化 NAS 配置》 这篇文章了解了如何简化 NAS 的配置。但即使配置好了 NAS 服务,我们还要面对一个问题,那就是如何将本地的资源上传到 nas 文件系统中呢?

上传资源到 NAS 通常有几种方案可以选择:

  1. 购买一台 ECS,然后挂载 NAS,通过 FTP 或者网盘等实现将文件上传到 NAS 的目的
  2. 使用在线迁移服务,将 OSS 资源迁移到 NAS
  3. 借助于函数计算,开发一个 Serverless 的 NAS 文件管理应用,参考

本次,我们介绍一个更简单的方式,即通过  fun nas  管理 nas 文件以及上传本地文件 nas。
fun nas 本身实现思路是上面第三个方案的升级版,但解决了其存在的一些问题,比如

  1. 需要手动部署一套服务的问题
  2. 不支持目录上传的问题
  3. 不支持大于 6M 的文件上传的问题
  4. 等等

下面,我们从一个简单的示例来看一下 fun nas 的使用体验。

Fun Nas 使用体验一览

要使用 Fun Nas 条件非常简单,只需要在 template.yml 中包含 NAS 的相关配置即可。

接下来我们从头开始创建一个 Fun 项目,体验 Fun Nas 的相关功能。

我们创建一个空白目录,然后创建一个名为 template.yml 的文件,内容填写为:

ROSTemplateFormatVersion: '2015-09-01'
Transform: 'Aliyun::Serverless-2018-04-03'
Resources:
  NasDemo:
    Type: 'Aliyun::Serverless::Service'
    Properties:
      NasConfig: Auto

我们从 《开发函数计算的正确姿势 —— Fun 自动化 NAS 配置》中的介绍的可以了解到, NasConfig 这一行配置就是帮助我们配置 NAS 服务的,如果已经存在了 NAS 服务,可以填写自己的配置信息。

1. 使用 fun nas init 进行初始化配置

接下来,同样是在该目录,我们使用 fun nas init 初始化配置。

$ fun nas init

start fun nas init...
Waiting for service fun-nas-NasDemo to be deployed...
  ... ...
    using 'VpcConfig: Auto', Fun will try to generate related vpc resources automatically
    ... ...
    generated auto VpcConfig done:  {"vpcId":"vpc-bp1pcr7o8ksmgojt4rfws","vswitchIds":["vsw-bp13qdw9qe1i2it4y0700"],"securityGroupId":"sg-bp161u0547x0lq5k6i5x"}
    using 'NasConfig: Auto', Fun will try to generate related nas file system automatically
    ... ...
    generated auto NasConfig done:  {"UserId":10003,"GroupId":10003,"MountPoints":[{"ServerAddr":"0dc9c4a6d9-gry74.cn-hangzhou.nas.aliyuncs.com:/fun-nas-NasDemo","MountDir":"/mnt/auto"}]}
    Checking if nas directories /mnt/auto/fun-nas-NasDemo exists, if not, it will be created automatically
    Checking nas directories done ["/mnt/auto/fun-nas-NasDemo"]
    ... ...
service fun-nas-NasDemo deploy success


Fun nas init Success

Tips for next step
======================
$ fun nas info      # Show NAS info
$ fun nas ls        # List NAS files
$ fun nas sync      # Synchronize files to nas
$ fun deploy        # Deploy Resources

fun nas init 执行完成后,nas、vpc 相关的资源就创建完毕了。我们就可以继续使用 fun nas 的其他命令了。

注意: 修改了 nas 的相关配置,需要重新执行 fun nas init。

2. 使用 fun nas info 查看 nas 的相关信息

接下来,我们我们使用 fun nas info,查看本地 nas 目录:

$ fun nas info

Local NAS folder of service NasDemo includes:
/NasDemo/.fun/nas/auto-default/NasDemo

怎么理解这个本地 nas 目录呢?可以把它想成同步盘,也就是只要你将文件、资源存放到这个目录,那么就可以通过 fun nas sync 命令一键将这些资源按照本地的目录结构同步到 NAS 上。

3. 使用 fun nas sync 将本地 nas 资源同步到 nas 服务

就像上一步介绍的,我们只需要将想要上传到 nas 的文件存放到本地相应的目录即可。

$ fun nas sync

Starting upload /NasDemo/.fun/nas/auto-default/NasDemo to nas://NasDemo:/mnt/auto/
NAS path checking...
zipping /NasDemo/.fun/nas/auto-default/NasDemo
 /NasDemo/.fun/nas/auto-default/.NasDemo.zip - zipped
generate tmpDir: /NasDemo/.fun/nas/auto-default/.fun_nas_tmp/42658c92eef63f2b3b13e5f46315ee7d
Split zip file to 1 small files
Uploading...
Upload /NasDemo/.fun/nas/auto-default/NasDemo to /mnt/auto/ done!

如果我们的本地 nas 目录文件有变动,只需要重新执行 fun nas sync 即可。

4. 使用 fun nas ls 查看 nas 服务中的文件

fun nas ls 支持两种协议格式:

  1. 指定列出某个 service 下的 nas 路径内容:fun nas ls nas://ServiceName/Path。本例中可以是 nas://NasDemo/mnt/auto
  2. 如果模板文件(template.yml)中只包含一个 service,那么可以省略这里的 ServiceName,即 fun nas ls nas:///Path。本例中可以是 nas:///mnt/auto

我们这里通过使用 fun nas ls nas://NasDemo/mnt/auto,查看远端 NAS 服务中的资源。

$ fun nas ls -a nas://NasDemo/mnt/auto

total 10
drwxr-xr-x 4 user10003 10003 4096 Aug  4 11:38 .
drwxr-xr-x 1 root      root  4096 Aug  4 11:37 ..
drwxr-xr-x 4 user10003 10003 4096 Aug  4 11:38 .fun_nas_tmp
-rw-r--r-- 1 user10003 10003   19 Aug  4 11:38 test
drwxr-xr-x 2 user10003 10003 4096 Aug  4 11:38 testDir

Fun Nas 动态演示

更多参考

  1. Fun:Fun 的 github 仓库首页,可以在这里找到更多的帮助文档以及教程资源。
  2. 《开发函数计算的正确姿势 —— Fun 自动化 NAS 配置》:介绍了如何自动化配置 NAS。
  3. 《开发函数计算的正确姿势——tensorflow serving》:讲解了如何使用 Fun 解决机器学习场景下的依赖安装以及大依赖的问题。
相关实践学习
【玩转ComfyUI】基于函数计算一键部署AI生图平台ComfyUI
本次实验将带大家通过使用阿里云产品函数计算FC,快速使用ComfyUI实现更高质量的图像生成。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
目录
相关文章
|
消息中间件 存储 弹性计算
云端问道13期方案教学-告别资源瓶颈,函数计算驱动多媒体文件处理
《云端问道13期方案教学》由阿里云技术团队周博宇主讲,聚焦如何使用函数计算突破资源瓶颈,高效处理多媒体文件。方案涵盖六大要点:寻找云需求解决方案、选择函数计算的原因、对比不同文件处理方式、实现多媒体文件处理、应用场景广泛性及优惠购买推荐。通过将文件处理从主应用拆分,利用函数计算的按需扩展和自动弹性特性,确保核心业务稳定,并大幅降低成本。适用于图片、视频处理等多种场景。
303 1
云端问道13期方案教学-告别资源瓶颈,函数计算驱动多媒体文件处理
|
消息中间件 存储 Serverless
函数计算产品使用问题之怎么访问网络附加存储(NAS)存储模型文件
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
运维 Serverless 测试技术
函数计算产品使用问题之支持10个并发任务需要多少资源
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
弹性计算 监控 关系型数据库
云端问道13期实操教学-告别资源瓶颈,函数计算驱动多媒体文件处理
《云端问道13期实操教学》介绍了使用函数计算实现多媒体文件处理的解决方案,分为五部分:方案概览、部署准备、一键部署、完成及清理和主流应用场景。通过创建VPC、ECS、RDS等资源,演示了如何利用函数计算处理PPT加水印并转PDF,解决了资源瓶颈问题。最后讲解了函数计算在部署外部应用、文件处理和音视频处理中的优势。
328 2
|
存储 弹性计算 关系型数据库
活动实践 | 告别资源瓶颈,函数计算驱动多媒体文件处理测评
本方案介绍了一种高效处理文件的方法,适用于企业办公和社交媒体应用。通过阿里云的函数计算、对象存储OSS和轻量消息队列,实现文件的异步处理,如格式转换和水印添加,有效减轻了核心应用的负担,提高了业务稳定性和资源利用率。方案包括云服务器ECS、云数据库RDS、OSS存储等组件,支持快速部署和资源清理。
|
关系型数据库 Serverless 分布式数据库
PolarDB Serverless 模式通过自动扩缩容技术,根据实际工作负载动态调整资源,提高系统灵活性与成本效益
PolarDB Serverless 模式通过自动扩缩容技术,根据实际工作负载动态调整资源,提高系统灵活性与成本效益。用户无需预配高固定资源,仅需为实际使用付费,有效应对流量突变,降低总体成本。示例代码展示了基本数据库操作,强调了合理规划、监控评估及结合其他云服务的重要性,助力企业数字化转型。
445 6
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
546 1
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
468 3
|
弹性计算 关系型数据库 Serverless
告别资源瓶颈,函数计算驱动多媒体文件处理方案:https://www.aliyun.com/solution/tech-solution/fc-drive-file
本文介绍了一种基于阿里云的一键部署解决方案,利用云服务器ECS、RDS MySQL、OSS、函数计算FC及MNS等服务,实现高效的多媒体文件处理。方案通过事件驱动机制,将文件处理任务解耦,并自动弹性扩展,按需付费,简化部署流程,提高处理效率。本文还提供了详细的部署步骤与体验反馈,展示了从配置到文件处理的全过程。
|
存储 运维 Serverless
函数计算产品使用问题之NAS文件管理在什么地方
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
387 9

热门文章

最新文章

相关产品

  • 函数计算