开发函数计算的正确姿势——使用交互模式安装依赖-阿里云开发者社区

开发者社区> 倚贤> 正文

开发函数计算的正确姿势——使用交互模式安装依赖

简介: 前言 首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。
+关注继续查看

前言

首先介绍下在本文出现的几个比较重要的概念:

函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考
Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。Fun 的更多文档参考

备注: 本文介绍的技巧需要 Fun 版本大于等于 3.0.0-beta.1 。

依赖工具

本项目是在 MacOS 下开发的,涉及到的工具是平台无关的,对于 Linux 和 Windows 桌面系统应该也同样适用。在开始本例之前请确保如下工具已经正确的安装,更新到最新版本,并进行正确的配置。

Fun 和 Fcli 工具依赖于 docker 来模拟本地环境。

对于 MacOS 用户可以使用 homebrew 进行安装:

brew cask install docker
brew tap vangie/formula
brew install fun

Windows 和 Linux 用户安装请参考:

  1. https://github.com/aliyun/fun/blob/master/docs/usage/installation.md

安装好后,记得先执行 fun config 初始化一下配置。

注意, 如果你已经安装过了 fun,确保 fun 的版本在 3.0.0-beta.1 以上。

$ fun --version
3.0.0-beta.1

背景

函数计算以 Zip 压缩文件格式作为约定的交付物,交付物通常包含代码和依赖库文件。这些依赖库文件通常分为系统依赖(使用 apt-get 包管理安装的库)和语言运行时依赖(使用语言相关的包管理器如 npm、pip 安装的库)。

系统依赖通常不可移植

通常情况下系统依赖和环境相关,比如我们希望在函数里调用 brotli 命令解压文件,如果我们在开发机 mac 上,使用 brew install brotli 安装了 brotil 命令,然后打包发布到函数计算平台是无法运行的。有时候即使开发机是 linux 也不一定可以。这是因为通过系统提供的包管理工具安装的可执行程序和动态链接库与系统的类型和版本强相关。不同系统上安装的这些程序和文件不具备可移植性。

语言依赖也存在不可移植的情况

通常情况下语言依赖是平台无关的,比如说使用 npm install jszip 安装一个 nodejs 依赖,该依赖可以运行在不同的操作系统和不同的 nodejs 版本下。语言平台上的依赖通常是可移植的,单也有例外的情况。如: npm install node-pty 就是一个存在原生绑定(native binding)的例子。node-pty 模块安装过程中,依赖一些 c/c++ 代码,这些代码会在安装的过程中进行编译,我们知道 c/c++ 代码虽然也具备平台移植性,但是其编译产物是不可移植的。

DSL 脚本的不足

Fun 2.0 版本支持依赖安装 DSL 文件 fun.yml,fun.yml 为依赖安装提供了批量模式。日常开发提供了一种命令模式,如:fun install --package-type pip tensorflow。在 Fun 3.0 中我们提供了一种全新的 DSL 文件 Funfile。Funfile 可以理解为 Dockerfile 的语法子集,让熟悉 docker 的开发者可以快速上手。

但是无论是 fun.yml 或 Funfile,以及命令模式,对于开发者都有一个痛点。那就是不知道环境里当前的状态:

  1. 已经安装的软件有哪些
  2. 某个目录下有些什么文件
  3. 文件的内容以及属性是什么

开发者需要可以交互的沙箱环境。该功能在 Fun 2.0 中没有,用户常常使用 fcli sbox 命令作为替代,或者直接使用 fc-docker 项目提供的镜像启动一个 container。docker run --rm -it -v $(pwd):/code aliyunfc/runtime-python2.7:build bash 但是这些复杂的命令和参数需要用户具备足够的 docker 背景知识以及对函数计算工作原理的了解。

为了更好的解决上述问题,提升用户的开发体验,我们在 Fun 3.0 中提供了 fun install sbox 子命令。

fun_install_sbox

命令行参数

$ fun install sbox --help
Usage: fun install sbox [-f|--function <[service/]function>] [-r|--runtime <runtime>] [-i|--interactive] [-e|--env key=val ...] [-e|--cmd <cmd>]

Start a local sandbox for installation dependencies or configuration

Options:
  -f, --function <[service/]function>  Specify which function to execute installation task.
  -r, --runtime <runtime>              function runtime, avaliable choice is: nodejs6, nodejs8, nodejs10, python2.7, python3, java8, php7.2, custom
  -i, --interactive                    run as interactive mode. Keep STDIN open and allocate a pseudo-TTY when in a interactive shell. (default: false)
  -e, --env <env>                      environment variable, ex. -e PATH=/code/bin (default: [])
  -c, --cmd <cmd>                      command with arguments to execute inside the installation sandbox.
  -h, --help                           output usage information

## 快速开始

下面以项目 pyzbar_example 为例, pyzbar_example 项目包含如下文件

$  tree .             
.
├── fun.yml
├── index.py
├── qrcode.png
└── template.yml

0 directories, 4 files

其中 template.yml 文件内容如下

ROSTemplateFormatVersion: '2015-09-01'
Transform: 'Aliyun::Serverless-2018-04-03'
Resources:
 pyzbar-srv:
   Type: 'Aliyun::Serverless::Service'
   pyzbar-fun:
     Type: 'Aliyun::Serverless::Function'
     Properties:
       Handler: index.handler
       Runtime: python3
       Timeout: 60
       MemorySize: 128
       CodeUri: .

启动交互模式 sbox

$ fun install sbox -f pyzbar-fun -i
using template: template.yml
root@fc-python3:/code# ls
fun.yml  index.py  qrcode.png  template.yml
root@fc-python3:/code# exit
exit
$

在 template.yml 所在的项目目录执行 fun install sbox,其中参数

  • -f/--function 参数指定启动 sbox 的函数,本例中函数所设定的 runtime 为 python3,所以 python3 环境的沙箱环境会被启动起来,函数 pyzbar-fun 所对应的 CodeUri 目录会被挂载到沙箱环境内部的 /code 目录,上面例子中在沙箱环境内 ls 命令返回的文件列表证实了这一点。
  • -i/--interactive 参数表示启动交互模式,对应非交互模式的用途可以看后面的示例。

如果 template.yml 文件并不存在,或者 template.yml 配置文件内的函数尚未配置可以 使用 --runtime 参数启动交互模式,此时当前目录会被挂载到沙箱环境的 /code 目录。

$ fun install sbox -r nodejs10 -i                                               
root@fc-nodejs10:/code# ls
fun.yml  index.py  qrcode.png  template.yml
root@fc-nodejs10:/code# exit
exit
$

上面的方法适用于临时启动一个 sbox 做些动手实验的场景。

使用 fun-install 安装 apt 和 pip 依赖

$ fun install sbox -f pyzbar-fun -i          
using template: template.yml
root@fc-python3:/code# fun-install apt-get install libblas3
Task => [UNNAMED]
     => apt-get update (if need)
     => apt-get install -y -d -o=dir::cache=/code/.fun/tmp libblas3
     => bash -c 
        for f in $(ls /code/.fun/tmp/archives/*.deb); do
          dpkg -x $f /code/.fun/root; 
          mkdir -p /code/.fun/tmp/deb-control/${f%.*}; 
          dpkg -e $f /code/.fun/tmp/deb-control/${f%.*}; 

          if [ -f "/code/.fun/tmp/deb-control/${f%.*}/postinst" ]; then 
            FUN_INSTALL_LOCAL=true /code/.fun/tmp/deb-control/${f%.*}/postinst configure;
          fi; 
        done;
     => bash -c 'rm -rf /code/.fun/tmp/archives'
root@fc-python3:/code# fun-install --help
Usage: fun local [options] [command]

build function codes or install related depedencies for Function Compute

Options:
  -h, --help  output usage information

Commands:
  apt-get     install apt depencies
  pip         install pip depencies
  build       build function codes for Function Compute
  help [cmd]  display help for [cmd]

非交互模式下使用 sbox

使用如下一行命令打印出 pyzbar-fun 函数的 sbox 内预装的 deb 包。

$ fun install sbox -f pyzbar-fun -c 'dpkg -l'
using template: template.yml
Desired=Unknown/Install/Remove/Purge/Hold
| Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
|/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
||/ Name                               Version                          Architecture Description
+++-==================================-================================-============-===============================================================================
ii  acl                                2.2.52-2                         amd64        Access control list utilities
ii  adduser                            3.113+nmu3                       all          add and remove users and groups
ii  apt                                1.0.9.8.4                        amd64        commandline package manager
ii  apt-utils                          1.0.9.8.5                        amd64        package management related utility programs
ii  autoconf                           2.69-8                           all          automatic configure script builder
ii  automake                           1:1.14.1-4+deb8u1                all          Tool for generating GNU Standards-compliant Makefiles
...(此处省略了许多行)

也可以通过管道将外部命令的内容传递到内部

$  echo hello | fun install sbox -r nodejs10  -i -c 'cat -'
hello

注意这里 -i 参数不能省略,该参数表示接受标准输入。

小结

fun install sbox 是 fcli sbox 的替代工具,除了支持交互模式,沿用了指定 runtime 启动 sbox,也实现了 fun 风格的指定函数启动 sbox,更加便利。同时也支持内联命令和管道等非交互模式的用法,为编写脚本提供了更好的支持。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
依赖DataWorks OpenAPI补数据实现圈人
从2020年10月份起DataWorks为企业版提供了API的能力,我们可以根据现有的API能力打通应用与离线数据加工,从而让大数据能直接为在线应用服务,本篇文章使用圈人功能做一个简单的介绍实现;
1571 0
我们也说说Android.mk(4) - 依赖:目标编程的模式
我一直觉得,Makefile确实是C/C++程序员的良配,因为Makefile所使用的两种范式都是C/C++程序员不熟悉的,一种是函数式的思想,一种是依赖构成的目标链的模式。
2884 0
十分钟上线-基于函数计算开发 Restful web api & asp.net core web app
.NET Core是一个开源通用的开发框架,支持跨平台, 阿里云函数计算推出了 dotnetcore2.1 runtime, 使用 C# 编写 serverless 函数, 除了很好地支持通常意义上的函数外, 还可以基于函数计算开发 asp.
4386 0
开发指南—函数—拆分函数—YYYYDD
本文介绍YYYYDD函数的使用方式。
11 0
Web Service依赖的jar包介绍
This directory includes the CXF jar, the CXF manifest jar, the required dependencies, and many optional dependencies. The "modules" directory contains the cxf.jar split up into smaller pieces if
1541 0
入门篇:函数计算中角色和访问策略的讲解
在函数计算中角色授权中,在服务层的角色授权是赋予函数去访问其他云产品的权限,在触发器的角色授权是授权给事件源可以调用函数计算做运算。
6873 0
开发函数计算的正确姿势———为 PHP 运行时添加自定义扩展
PHP 语言提供了一种扩展机制(Extension),通过 PHP 扩展可以增强语法、调用 C/C++ 实现的库函数以及优化执行性能。PHP 扩展是与平台相关的动态链接库,在 Linux 和 Mac 平台是 .so 文件,在 Windows 平台是 .dll 文件。由于函数计算的开发通常在 Mac 和 Windows 平台,而运行时是 Linux(Debain)环境,所以为函数计算 PHP 运行时添加扩展会遇到由于动态链接库平台相关而导致要么本地无法调试,要么远端无法运行的问题。本文介绍借助 Funcraft 工具提供的模拟环境进行 PHP 扩展的安装、本地运行调试以及构建发布。
385 0
+关注
倚贤
全栈工程师,从事了 12 年以 Java 语⾔为主的软件开发工作,热衷于整合框架与开发工具,关注 交互设计,喜欢写技术博客(http://codelife.me/),Linux拥趸,问题终结者。近期开始学习和关注 Elixir 函数语言,合作翻译了《Elixir 程序设计》。
35
文章
48
问答
来源圈子
更多
专注Serverless、微服务、函数计算等
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载