使用 EFS 在 AWS Lambda 上安装 Python 依赖项

简介: 使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。

pandas、shapely 和 geopandas 等库对于地理空间分析等任务至关重要,通常会超过 lambda 的 250 mb 解压层限制。一个实用的解决方案?将您的依赖项存储在 efs(弹性文件系统) 上并将其挂载到您的 lambda 函数。
先决条件
这篇文章面向具有高级 aws 经验的用户。它假设您对 lambda、efs、vpc 和安全组等 aws 服务有深入的了解,并且熟悉管理基础设施和在云中部署可扩展的解决方案。
在我们深入设置之前,请确保您具备以下条件:

aws lambda 函数:您将使用 efs 配置的已部署 lambda 函数。
efs 文件系统:在同一 aws 区域中创建的弹性文件系统。
efs 访问点:在同一 aws 区域中创建的 efs 访问点,根目录路径为 /data ,确保正确设置 posix 权限和目录创建权限,如下所示,1101 和 1001,次要组id 1002 和权限 0755。
vpc 和网络:确保 lambda 函数与 efs 位于同一 vpc 中,并正确配置子网和安全组。
iam 权限:您的 lambda 函数需要访问 efs 的权限。附加适当的策略(例如,elasticfilesystem:clientmount、elasticfilesystem:clientwrite)。
用于安装软件包的处理程序代码
处理程序直接在挂载到 aws lambda 函数的 amazon efs 存储上安装 python 依赖项。这种方法绕过了 lambda 层的大小限制,使其适用于地理空间数据处理通常需要的重依赖项,例如 pandas、geopandas 和 shapely。它确保 /mnt/data 目录中提供所需的库,供 lambda 在执行期间使用:
image.png
测试步骤
调用 lambda 函数时,传递以下 json 负载:
image.png
验证软件包安装
使用 ssh 会话或 aws cli 导航到您的 efs 挂载点(例如 /mnt/data/lib/)。
检查 site-packages/ 目录下已安装的软件包。
或者简单地使用 a 查看已安装的软件包
image.png
最终使用 lambda 中安装的依赖项
更新 lambda 函数的处理程序以包含安装在 efs 上的依赖项,这里的关键是将 efs 中的依赖项路径挂载到 lambda 处理程序的 pythonpath:

重要提示
所有希望使用已安装依赖项的 lambda 函数都必须将 efs 附加到 lambda。如果没有此附件,lambda 将无法访问 efs 上存储的所需依赖项。
image.png
主要优点
虽然直接在 efs 中安装 python 依赖项并不常见,但在 lambda 的默认限制(例如 250 mb 解压缩层大小)受到限制的情况下,它提供了某些优势。这种方法对于需要使用诸如 pandas、shapely 和 geopandas 等繁重库进行地理空间计算的应用程序特别有用,这些库通常超出层大小限制。

相关文章
|
4月前
|
运维 Serverless API
函数计算产品使用问题之如何在Python中使用环境变量
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
3月前
|
关系型数据库 Linux PostgreSQL
【Azure 应用服务】Azure Function App Linux环境下的Python Function,安装 psycopg2 模块错误
【Azure 应用服务】Azure Function App Linux环境下的Python Function,安装 psycopg2 模块错误
|
6月前
|
Serverless Python
阿里函数计算中,你可以通过以下步骤在本地安装Python依赖
阿里函数计算中,你可以通过以下步骤在本地安装Python依赖
170 6
|
6月前
|
Serverless Python
在阿里函数计算中,你可以通过以下步骤在本地安装Python依赖
在阿里函数计算中,你可以通过以下步骤在本地安装Python依赖
130 1
|
Python
Python 用os和win32api库模仿DOS命令dir (完整实例)
Python 用os和win32api库模仿DOS命令dir (完整实例)
139 0
|
算法 区块链 数据安全/隐私保护
【Python零基础入门篇 · 41】:内置模块的使用二:pyinstaller模块(打包py文件以及更换图标)、hashlib模块(加密)
【Python零基础入门篇 · 41】:内置模块的使用二:pyinstaller模块(打包py文件以及更换图标)、hashlib模块(加密)
205 0
【Python零基础入门篇 · 41】:内置模块的使用二:pyinstaller模块(打包py文件以及更换图标)、hashlib模块(加密)
|
算法 区块链 数据安全/隐私保护
【Python零基础入门篇 · 26】:内置模块的使用:sys模块、time模块、pyinstall模块(打包py文件以及更换图标)、hashlib模块(加密)
【Python零基础入门篇 · 26】:内置模块的使用:sys模块、time模块、pyinstall模块(打包py文件以及更换图标)、hashlib模块(加密)
639 0
【Python零基础入门篇 · 26】:内置模块的使用:sys模块、time模块、pyinstall模块(打包py文件以及更换图标)、hashlib模块(加密)
|
Shell TensorFlow 算法框架/工具
DSW环境创建自定义python环境,使用更高版本python
DSW环境创建自定义python环境,使用更高版本python
1493 0
DSW环境创建自定义python环境,使用更高版本python
|
JavaScript Serverless Linux
移植Python量化交易TA-Lib库到函数计算
TA-Lib全称“技术分析库”,即技术分析库,是Python金融量化的高级库,涵盖了150种多种股票,期货交易软件中常用的技术分析指标,如MACD,RSI,KDJ,动量指标,布林带等等。
587 0
移植Python量化交易TA-Lib库到函数计算
|
关系型数据库 MySQL 数据库
基于python从redmine-api中获取项目缺陷数据(1)
1.引言 本文主要内容是将如何利用 Python 对 Redmine缺陷进行缺陷数据获取操作。目前统计缺陷数据时基本是根据项目手动去redmine获取缺陷数据,至少要花费一个工作日去完成,目前的目标是通过python脚本通过 Redmine-API快速去获取各个维度的缺陷数据 ...
2126 0