使用 EFS 在 AWS Lambda 上安装 Python 依赖项

简介: 使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。

pandas、shapely 和 geopandas 等库对于地理空间分析等任务至关重要,通常会超过 lambda 的 250 mb 解压层限制。一个实用的解决方案?将您的依赖项存储在 efs(弹性文件系统) 上并将其挂载到您的 lambda 函数。
先决条件
这篇文章面向具有高级 aws 经验的用户。它假设您对 lambda、efs、vpc 和安全组等 aws 服务有深入的了解,并且熟悉管理基础设施和在云中部署可扩展的解决方案。
在我们深入设置之前,请确保您具备以下条件:

aws lambda 函数:您将使用 efs 配置的已部署 lambda 函数。
efs 文件系统:在同一 aws 区域中创建的弹性文件系统。
efs 访问点:在同一 aws 区域中创建的 efs 访问点,根目录路径为 /data ,确保正确设置 posix 权限和目录创建权限,如下所示,1101 和 1001,次要组id 1002 和权限 0755。
vpc 和网络:确保 lambda 函数与 efs 位于同一 vpc 中,并正确配置子网和安全组。
iam 权限:您的 lambda 函数需要访问 efs 的权限。附加适当的策略(例如,elasticfilesystem:clientmount、elasticfilesystem:clientwrite)。
用于安装软件包的处理程序代码
处理程序直接在挂载到 aws lambda 函数的 amazon efs 存储上安装 python 依赖项。这种方法绕过了 lambda 层的大小限制,使其适用于地理空间数据处理通常需要的重依赖项,例如 pandas、geopandas 和 shapely。它确保 /mnt/data 目录中提供所需的库,供 lambda 在执行期间使用:
image.png
测试步骤
调用 lambda 函数时,传递以下 json 负载:
image.png
验证软件包安装
使用 ssh 会话或 aws cli 导航到您的 efs 挂载点(例如 /mnt/data/lib/)。
检查 site-packages/ 目录下已安装的软件包。
或者简单地使用 a 查看已安装的软件包
image.png
最终使用 lambda 中安装的依赖项
更新 lambda 函数的处理程序以包含安装在 efs 上的依赖项,这里的关键是将 efs 中的依赖项路径挂载到 lambda 处理程序的 pythonpath:

重要提示
所有希望使用已安装依赖项的 lambda 函数都必须将 efs 附加到 lambda。如果没有此附件,lambda 将无法访问 efs 上存储的所需依赖项。
image.png
主要优点
虽然直接在 efs 中安装 python 依赖项并不常见,但在 lambda 的默认限制(例如 250 mb 解压缩层大小)受到限制的情况下,它提供了某些优势。这种方法对于需要使用诸如 pandas、shapely 和 geopandas 等繁重库进行地理空间计算的应用程序特别有用,这些库通常超出层大小限制。

相关文章
|
2月前
|
IDE 开发工具 索引
在Python中安装第三方库
在Python中安装第三方库
622 30
|
3月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
368 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
3月前
|
XML 数据格式 Python
Python实用记录(五):labelImg安装和使用-----看这篇就够了!
这篇文章介绍了在Windows 10系统中使用Anaconda3安装labelImg工具的方法,包括通过pip安装相关包和从GitHub下载配置,以及一些使用技巧,如修改预定义类别和自动保存功能。
344 3
|
13天前
|
Linux Python
Linux 安装python3.7.6
本教程介绍在Linux系统上安装Python 3.7.6的步骤。首先使用`yum`安装依赖环境,包括zlib、openssl等开发库。接着通过`wget`下载Python 3.7.6源码包并解压。创建目标文件夹`/usr/local/python3`后,进入解压目录执行配置、编译和安装命令。最后设置软链接,使`python3`和`pip3`命令生效。
|
2月前
|
缓存 前端开发 JavaScript
使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。
在我们快速发展的在线环境中,只需几秒钟加载的网站就能真正脱颖而出。您是否知道加载时间较快的网站的转化率比加载时间较长的网站高出三倍?
26 0
使用 aws lambda 时,开发人员面临的常见挑战之一是管理大型 python 依赖项。
|
2月前
|
Ubuntu Linux iOS开发
安装Python
安装 Python 是相对简单的过程,但需要根据不同的操作系统选择合适的方法。同时,合理使用虚拟环境可以更好地管理项目的依赖和环境,提高开发效率。希望这些步骤和注意事项能帮助你顺利安装 Python。
|
3月前
|
网络协议 Java Linux
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
本文介绍了PyAV库,它是FFmpeg的Python绑定,提供了底层库的全部功能和控制。文章详细讲解了PyAV的安装过程,包括在Windows、Linux和ARM平台上的安装步骤,以及安装中可能遇到的错误和解决方法。此外,还解释了时间戳的概念,包括RTP、NTP、PTS和DTS,并提供了Python代码示例,展示如何获取RTSP流中的各种时间戳。最后,文章还提供了一些附录,包括Python通过NTP同步获取时间的方法和使用PyAV访问网络视频流的技巧。
506 4
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
|
2月前
|
弹性计算 安全 数据处理
Python高手秘籍:列表推导式与Lambda函数的高效应用
列表推导式和Lambda函数是Python中强大的工具。列表推导式允许在一行代码中生成新列表,而Lambda函数则是用于简单操作的匿名函数。通过示例展示了如何使用这些工具进行数据处理和功能实现,包括生成偶数平方、展平二维列表、按长度排序单词等。这些工具在Python编程中具有高度的灵活性和实用性。
43 2
|
3月前
|
Python
Python 三方库下载安装
Python 三方库下载安装
36 1
|
3月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
592 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)