使用 EFS 在 AWS Lambda 上安装 Python 依赖项

简介: 使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。

pandas、shapely 和 geopandas 等库对于地理空间分析等任务至关重要,通常会超过 lambda 的 250 mb 解压层限制。一个实用的解决方案?将您的依赖项存储在 efs(弹性文件系统) 上并将其挂载到您的 lambda 函数。
先决条件
这篇文章面向具有高级 aws 经验的用户。它假设您对 lambda、efs、vpc 和安全组等 aws 服务有深入的了解,并且熟悉管理基础设施和在云中部署可扩展的解决方案。
在我们深入设置之前,请确保您具备以下条件:

aws lambda 函数:您将使用 efs 配置的已部署 lambda 函数。
efs 文件系统:在同一 aws 区域中创建的弹性文件系统。
efs 访问点:在同一 aws 区域中创建的 efs 访问点,根目录路径为 /data ,确保正确设置 posix 权限和目录创建权限,如下所示,1101 和 1001,次要组id 1002 和权限 0755。
vpc 和网络:确保 lambda 函数与 efs 位于同一 vpc 中,并正确配置子网和安全组。
iam 权限:您的 lambda 函数需要访问 efs 的权限。附加适当的策略(例如,elasticfilesystem:clientmount、elasticfilesystem:clientwrite)。
用于安装软件包的处理程序代码
处理程序直接在挂载到 aws lambda 函数的 amazon efs 存储上安装 python 依赖项。这种方法绕过了 lambda 层的大小限制,使其适用于地理空间数据处理通常需要的重依赖项,例如 pandas、geopandas 和 shapely。它确保 /mnt/data 目录中提供所需的库,供 lambda 在执行期间使用:
image.png
测试步骤
调用 lambda 函数时,传递以下 json 负载:
image.png
验证软件包安装
使用 ssh 会话或 aws cli 导航到您的 efs 挂载点(例如 /mnt/data/lib/)。
检查 site-packages/ 目录下已安装的软件包。
或者简单地使用 a 查看已安装的软件包
image.png
最终使用 lambda 中安装的依赖项
更新 lambda 函数的处理程序以包含安装在 efs 上的依赖项,这里的关键是将 efs 中的依赖项路径挂载到 lambda 处理程序的 pythonpath:

重要提示
所有希望使用已安装依赖项的 lambda 函数都必须将 efs 附加到 lambda。如果没有此附件,lambda 将无法访问 efs 上存储的所需依赖项。
image.png
主要优点
虽然直接在 efs 中安装 python 依赖项并不常见,但在 lambda 的默认限制(例如 250 mb 解压缩层大小)受到限制的情况下,它提供了某些优势。这种方法对于需要使用诸如 pandas、shapely 和 geopandas 等繁重库进行地理空间计算的应用程序特别有用,这些库通常超出层大小限制。

相关文章
|
7月前
|
Linux 计算机视觉 C++
【解决方案】Building wheel for opencv-python:安装卡顿的原因与解决方案
当你安装OpenCV时,命令行停在Building wheel for opencv-python (PEP 517) ... -似乎卡住了。这并非程序假死,而是其编译耗时巨大。本文将揭示原因,并提供优化安装体验的实用方法。
955 88
|
4月前
|
存储 JavaScript Java
(Python基础)新时代语言!一起学习Python吧!(四):dict字典和set类型;切片类型、列表生成式;map和reduce迭代器;filter过滤函数、sorted排序函数;lambda函数
dict字典 Python内置了字典:dict的支持,dict全称dictionary,在其他语言中也称为map,使用键-值(key-value)存储,具有极快的查找速度。 我们可以通过声明JS对象一样的方式声明dict
325 1
|
5月前
|
人工智能 数据安全/隐私保护 异构计算
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
737 8
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
|
6月前
|
数据挖掘 数据处理 C++
Python Lambda:从入门到实战的轻量级函数指南
本文通过10个典型场景,详解Python中Lambda匿名函数的用法。Lambda适用于数据处理、排序、条件筛选、事件绑定等简洁逻辑,能提升代码简洁性和开发效率。同时提醒避免在复杂逻辑中过度使用。掌握Lambda,助你写出更高效的Python代码。
388 0
|
7月前
|
人工智能 数据挖掘 Linux
Centos安装Python3.7(亲测可用)
本指南详细介绍了在基于Linux(以CentOS系统为例,使用yum包管理器)的系统上安装Python 3.7版本的完整流程。Python是一种广泛使用的高级编程语言,在各种领域如软件开发、数据分析、人工智能和区块链开发等都有着重要的应用。
678 2
|
10月前
|
IDE 开发工具 开发者
手把手教你安装PyCharm 2025:开发者的Python IDE配置全流程+避坑指南
本教程详细介绍了PyCharm 2025版本在Windows系统下的安装流程及配置方法,涵盖AI代码补全与智能调试工具链等新功能。内容包括系统要求、安装步骤、首次运行配置(如主题选择与插件安装)、创建首个Python项目,以及常见问题解决方法。此外,还提供了切换中文界面和延伸学习资源的指导,帮助用户快速上手并高效使用PyCharm进行开发。
5264 61
|
10月前
|
存储 缓存 文件存储
uv安装python及其依赖的加速方法
国内在使用uv的时候,可能会涉及到装python的速度太慢的问题,为了解决这个问题,可以使用`UV_PYTHON_INSTALL_MIRROR`这个环境变量。除此以外,对于多人协作场景,`UV_CACHE_DIR`也是一个有用的环境变量。本文会介绍这两个变量。
6898 10
|
IDE 测试技术 项目管理
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
PyCharm是由JetBrains开发的Python集成开发环境(IDE),专为Python开发者设计,支持Web开发、调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试和版本控制等功能。它有专业版、教育版和社区版三个版本,其中社区版免费且适合个人和小型团队使用,包含基本的Python开发功能。安装PyCharm前需先安装Python解释器,并配置环境变量。通过简单的步骤即可在PyCharm中创建并运行Python项目,如输出“Hello World”。
4579 13
【新手必看】PyCharm2025 免费下载安装配置教程+Python环境搭建、图文并茂全副武装学起来才嗖嗖的快,绝对最详细!
|
JSON Shell 数据格式
使用 pipx 安装并执行 Python 应用程序 (1)
使用 pipx 安装并执行 Python 应用程序 (1)
1214 17
|
人工智能 Java Python
python安装、vscode安装、conda安装:一文搞定Python的开发环境(史上最全)
尼恩架构团队推出了一系列《LLM大模型学习圣经》PDF,旨在帮助读者深入理解并掌握大型语言模型(LLM)及其相关技术。该系列包括Python基础、Transformer架构、LangChain框架、RAG架构及LLM智能体等内容,覆盖从理论到实践的各个方面。此外,尼恩还提供了配套视频教程,计划于2025年5月前发布,助力更多人成为大模型应用架构师,冲击年薪百万目标。

推荐镜像

更多