Hi~这里是Lab4AI大模型实验室！一个提供高性能GPU场景的内容社区和实操平台。您使用我们平台了吗？以下是我们收集的关于平台使用的5个常见问题，希望对您有所帮助~
5个常见问题
✅问题一：安装Flash Attention时终端提示OOM，我该如何解决？
现象在Terminal（终端）页面自定义环境下运行如下所示的命令安装Flash Attention时页面持续停留在编译页面，例如下图所示。
pip install flash-attn -i https://pypi.tuna.tsinghua.edu.cn/simple
运行一段时间后，实例自动重启导致终端连接自动重连，系统弹窗如下所示。
问题原因
在使用上述命令远程安装flash-attn时，系统将从源码进行编译构建。该过程涉及复杂的CUDA内核编译，由nvcc执行。由于编译过程中包含大量优化操作，并可能并行处理多个.cu文件，需频繁加载和存储庞大的中间数据结构，导致内存占用急剧上升，容易触发OOM（Out of Memory）错误，进而造成实例重启，需重新建立终端连接。
根据上述现象可知，采用源码编译方式安装Flash Attention对系统内存资源要求较高。为确保编译过程稳定，建议配置充足的内存资源。我们推荐系统至少配备400GB内存，建议至少选用H800 * 4卡GPU资源，以提升安装成功率与构建效率。
解决方法
1、登录账号后，点击悬浮菜单栏的“新建实例”，根据需要选择资源类型（CPU/GPU）、规格及卡数，点击“启动”按钮。实例启动后，点击“Terminal”打开终端，运行以下命令查看Torch版本。
python -c "import torch; print(torch.__version__)
2、访问Flash Attention公开的仓库地址，下载对应Python版本和cuda版本的release包，以
flash_attn-2.8.3+cu12torch2.7cxx11abiTRUE-cp310-cp310-linux_x86_64.whl
为例。
3、下载完成后，返回[JupyterLab处理专属数据/Terminal]页面，单击加号新建一个local_pkgs目录，然后将上步下载的文件拖拽至/workspace/local_pkgs目录下。
4、在终端运行如下所示的命令，在本地直接安装预编译好的flash-attn高性能二进制库。
pip install /workspace/local_pkgs/flash_attn-2.8.3+cu12torch2.7cxx11abiTRUE-cp310-cp310-linux_x86_64.whl
✅问题二：使用filezilla上传文件时上传失败，如何解决？
1、您可以安装并下载Cyberduck。
2、进入大模型实验室（Lab4AI）的“文件管理”页面，点击“SFTP上传下载”，弹出提示弹窗，显示主机名、端口号、账号和密码。将这些信息复制粘贴到Cyberduck。
3、登录后，就可以传输文件了。
✅问题三：我在传输数据时，提示文件“permission denied.”
大模型实验室Lab4AI提供user-data文件夹的传输数据权限，其他文件是没有权限被写入数据的。从图中可以看出，您正在向 /codelab 文件夹传输数据，该文件夹是没有写入数据权限的。您可以先在user-data文件夹里写入数据，然将文件copy到/codelab 文件夹内。如果文件小的话，可以直接通过jupyter上传。
✅问题四：数据集上传时，可以接受的最大限制是多少？
目前文件管理数据集上传是没有限制的。
✅问题五：我同时在大模型实验室平台申请多台算力服务器，那么这些算力服务器之间可以进行通信吗？
支持的。您可以通过命令cat /etc/hosts 来查看ip，然后在另一个实例通过ip进行分布式推理或者训练。另外我们的基础设施是3.6TMbps的IB网络，默认已开启IB网络网卡。
