优化托管于阿里云函数计算的Node.js应用 - 以Parse为例

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 介绍部署于函数计算的应用常见的问题的处理和优化

上文介绍了如何快速迁移Parse到阿里云函数计算,但是这只是一个跑起来的例子,还有一些问题需要我们优化。本文会介绍常见的优化点和方法,从方法来看适用于所有Serverless平台的应用。

Serverless的缺陷

没有任何技术形态是完美的,Serverless提供了良好的可伸缩性和并发性,提供了细粒度的资源分配,优化了成本,相对的也有难以调试等缺点。

这些问题是Serverless这种技术形态自身造成的,并不是阿里云函数计算独有的。不同的云厂商可以通过周边建设来弥补一些问题,比如阿里云函数计算的日志和监控相对比较完善,Serverless Devs工具解决了一部分调试问题。

用更传统的观点来理解Serverless的本质,可以看作扩容缩容策略极端激进的集群,而每个函数都是部署在这一个一个机器上而已。云厂商的机器特别迷你,计价单位颗粒小。而缩容策略可以将为0,扩容策略可以近乎无限大,缩容策略是固定,不可以自定义。

那么对于一个随时可能创建随时可能被销毁的机器,部署于其中的服务要面临两个方面的问题

  • 服务销毁
  • 服务启动

服务销毁时内存、文件系统的数据都丢失了。服务启动的时候需要一些必要的初始化,需要启动程序。

我们先看下销毁引起的持久化问题。

持久化改进

Parse是支持文件上传的,存储文件的FileAdapter是可以自定义的。

一般来说对于文件需求,可以直接使用阿里云对象存储OSS,一般选择标准型就可以了。


aliyun-oss-price.png

Parse官方不支持阿里云OSS,理论上可以使用parse-server-s3-adapter,但是我之前没有配置过,可以完全可以自定义,直接使用OSS官方的SDK就行了。


'use strict';
varOSS=require('ali-oss').Wrapper;
constDEFAULT_OSS_REGION="oss-cn-hangzhou";
functionrequiredOrFromEnvironment(options, key, env) {
options[key] =options[key] ||process.env[env];
if (!options[key]) {
throw`OSSAdapter requires option '${key}' or env. variable ${env}`;
    }
returnoptions;
}
functionfromEnvironmentOrDefault(options, key, env, defaultValue) {
options[key] =options[key] ||process.env[env] ||defaultValue;
returnoptions;
}
functionoptionsFromArguments(args) {
letoptions= {};
letaccessKeyOrOptions=args[0];
if (typeofaccessKeyOrOptions=='string') {
options.accessKey=accessKeyOrOptions;
options.secretKey=args[1];
options.bucket=args[2];
letotherOptions=args[3];
if (otherOptions) {
options.bucketPrefix=otherOptions.bucketPrefix;
options.region=otherOptions.region;
options.directAccess=otherOptions.directAccess;
options.baseUrl=otherOptions.baseUrl;
options.baseUrlDirect=otherOptions.baseUrlDirect;
        }
    } else {
options=accessKeyOrOptions|| {};
    }
options=requiredOrFromEnvironment(options, 'accessKey', 'OSS_ACCESS_KEY');
options=requiredOrFromEnvironment(options, 'secretKey', 'OSS_SECRET_KEY');
options=requiredOrFromEnvironment(options, 'bucket', 'OSS_BUCKET');
options=fromEnvironmentOrDefault(options, 'bucketPrefix', 'OSS_BUCKET_PREFIX', '');
options=fromEnvironmentOrDefault(options, 'region', 'OSS_REGION', DEFAULT_OSS_REGION);
options=fromEnvironmentOrDefault(options, 'directAccess', 'OSS_DIRECT_ACCESS', false);
options=fromEnvironmentOrDefault(options, 'baseUrl', 'OSS_BASE_URL', null);
options=fromEnvironmentOrDefault(options, 'baseUrlDirect', 'OSS_BASE_URL_DIRECT', false);
returnoptions;
}
functionOSSAdapter() {
varoptions=optionsFromArguments(arguments);
this._region=options.region;
this._bucket=options.bucket;
this._bucketPrefix=options.bucketPrefix;
this._directAccess=options.directAccess;
this._baseUrl=options.baseUrl;
this._baseUrlDirect=options.baseUrlDirect;
letossOptions= {
accessKeyId: options.accessKey, accessKeySecret: options.secretKey, bucket: this._bucket, region: this._region    };
this._ossClient=newOSS(ossOptions);
this._ossClient.listBuckets().then((val) => {
varbucket=val.buckets.filter((bucket) => {
returnbucket.name===this._bucket        }).pop();
this._hasBucket=!!bucket;
    });
}
OSSAdapter.prototype.createBucket=function () {
if (this._hasBucket) {
returnPromise.resolve();
    } else {
returnthis._ossClient.putBucket(this._bucket, this._region).then(() => {
this._hasBucket=true;
if (this._directAccess) {
returnthis._ossClient.putBucketACL(this._bucket, this._region, 'public-read');
            }
returnPromise.resolve();
        }).then(() => {
returnthis._ossClient.useBucket(this._bucket, this._region);
        });
    }
};
OSSAdapter.prototype.createFile=function (filename, data, contentType) {
letoptions= {};
if (contentType) {
options.headers= {'Content-Type': contentType}
    }
returnthis.createBucket().then(() => {
returnthis._ossClient.put(this._bucketPrefix+filename, newBuffer(data), options);
    });
};
OSSAdapter.prototype.deleteFile=function (filename) {
returnthis.createBucket().then(() => {
returnthis._ossClient.delete(this._bucketPrefix+filename);
    });
};
OSSAdapter.prototype.getFileData=function (filename) {
returnthis.createBucket().then(() => {
returnthis._ossClient.get(this._bucketPrefix+filename).then((val) => {
returnPromise.resolve(val.content);
        }).catch((err) => {
returnPromise.reject(err);
        });
    });
};
OSSAdapter.prototype.getFileLocation=function (config, filename) {
varurl=this._ossClient.signatureUrl(this._bucketPrefix+filename);
url=url.replace(/^http:/, "https:");
returnurl;
};
module.exports=OSSAdapter;
module.exports.default=OSSAdapter;

这个是我正在用的adapter,可以参考使用。特别是getFileLocation,要根据自己情况使用。

Parse还有一个缓存,一般默认使用本地环境,但是考虑到Serverless的特性,这一部分还是要持久化用于加速。官方提供的RedisCacheAdapter可以直接使用。Redis集群要求不是很高,最好复用已有的,单独使用成本有点高。


启动改进


Serverless函数的生命周期问题一直是迁移的阻碍,比较明显的是异步请求丢失、优雅下线困难。阿里云函数计算对于模型有一定扩展,额外提供了一些Hook。


aliyun-function-model.png


初始化只会进行一次,preFreeze和preStop就是退出前的Hook,这三处也是同样的计费。


由于Parse也涉及到数据库连接,所以可以将数据库连接部分移动到initialize中。

除了生命周期上一般来说还有一些选择


提升内存分配:函数计算可以自行配置内存,对于部分应用(特别是有初始化扫描等)加大内存可以改进启动速度


调整框架或者平台:对于NodeJs而言,新版本普遍都有性能上的优化,选用尽可能新的NodeJs版本也可以加速启动。如果实在对时间很敏感,可能要考虑Rust等启动速度更友好的语言。


在启动函数中初始化更多的共享资源:这个其实不能解决第一次冷启动的时间,但是可以让每次call的耗时更少。


缩减包大小:对于不必要的三方库优先移除,也可以使用更精简的版本进行替换。


定时激活:这个最早在AWS Lambda上广泛使用,其实本质上是保留一个常驻实例,但是依赖的云厂商的机制。比如AWS Lambda大约30-40分钟回收之前的活跃实例。这样只需要一个定时触发器就可以进行激活操作。这个方法在所有Serverless平台都可以使用。但是需要正确处理来自HTTP触发器和Event触发器的逻辑。


参考

https://github.com/ali-sdk/ali-oss

相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
18天前
|
存储 网络协议 Serverless
函数计算产品使用问题之第三方软件链接阿里云SD出现无法绘图,是什么导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
9天前
|
弹性计算 分布式计算 Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
|
12天前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
28 1
|
16天前
|
存储 弹性计算 网络协议
阿里云hpc8ae服务器ECS高性能计算优化型实例性能详解
阿里云ECS的HPC优化型hpc8ae实例搭载3.75 GHz AMD第四代EPYC处理器,配备64 Gbps eRDMA网络,专为工业仿真、EDA、地质勘探等HPC工作负载设计。实例提供1:4的CPU内存配比,支持ESSD存储和IPv4/IPv6,操作系统限于特定版本的CentOS和Alibaba Cloud Linux。ecs.hpc8ae.32xlarge实例拥有64核和256 GiB内存,网络带宽和eRDMA带宽均为64 Gbit/s。适用于CFD、FEA、气象预报等场景。
|
17天前
|
敏捷开发 缓存 前端开发
阿里云云效产品使用问题之流水线构建前端项目比较慢。该如何优化
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
17天前
|
JSON JavaScript 中间件
Express.js:构建轻量级Node.js应用的基石
**Express.js 概览**:作为Node.js首选Web框架,Express以其轻量、灵活和强大的特性深受喜爱。自2009年以来,其简洁设计和丰富中间件支持引领开发者构建定制化应用。快速开始:使用`express-generator`创建项目,安装依赖,启动应用。示例展示如何添加返回JSON消息的GET路由。Express适用于RESTful API、实时应用等多种场景,社区支持广泛,助力高效开发。
18 1
|
18天前
|
监控 JavaScript Serverless
函数计算产品使用问题之如何手动上传Nuxt3打包的代码到阿里云函数计算(FC)进行部署
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
5天前
|
测试技术 API Android开发
autox.js如何监听异常情况,比如网络中断、内存慢、应用死机或者页面无响应
autox.js如何监听异常情况,比如网络中断、内存慢、应用死机或者页面无响应
|
11天前
|
监控 JavaScript 前端开发
JavaScript与Nest.js:打造高性能的服务器端应用
Nest.js是Node.js的渐进式框架,融合OOP、FP和FRP,提供模块化、装饰器和依赖注入,助建高性能服务器应用。选择Nest.js的原因包括模块化设计、简洁的装饰器API和高性能基础(如Express或Fastify)。开始使用需安装Node.js和`@nestjs/cli`,创建项目、编写控制器。深入学习涉及模块化、服务的依赖注入及中间件。安全性优化涵盖HTTPS、CORS策略、限流和性能监控。
13 0
|
13天前
|
前端开发 JavaScript API
前端 JS 经典:阿里云文件上传思路
前端 JS 经典:阿里云文件上传思路
17 0