如果我要在MaxCompute用pandas,必须先装numpy吗？

在MaxCompute中使用Pandas时，确实需要依赖Numpy，因为Pandas的底层实现依赖于Numpy的核心功能。如果PyPI页面上没有后缀为cp37-cp37m-manylinux1_x86_64.whl的Numpy包，您仍然可以通过以下步骤解决此问题，并成功在MaxCompute中使用Pandas。

1. 确认Numpy的依赖关系

Pandas是一个基于Numpy构建的数据分析库，因此在MaxCompute中使用Pandas之前，必须确保Numpy已正确安装并可用。如果Numpy未预装或版本不兼容，则需要手动上传和配置Numpy的WHEEL包。

2. 替代方案：从其他可信源获取Numpy包

如果PyPI页面上无法找到符合要求的Numpy包（如cp37-cp37m-manylinux1_x86_64.whl），您可以尝试以下方法：

(1) 使用镜像站点

• 某些镜像站点可能仍保留旧版本的Numpy包。例如，清华大学开源软件镜像站或其他可信的Python包镜像站点。
• 下载符合MaxCompute环境要求的Numpy包（文件名需包含cp37-cp37m-manylinux1_x86_64）。

(2) 手动编译Numpy

如果无法直接下载合适的WHEEL包，您可以在与MaxCompute兼容的环境中手动编译Numpy： 1. 准备环境： - 推荐使用Linux环境进行编译。如果使用Windows，建议在Docker的quay.io/pypa/manylinux2010_x86_64镜像中操作。 2. 编译步骤： - 下载Numpy源码（通常为.tar.gz格式）。 - 解压后进入源码目录，执行以下命令生成WHEEL包： bash /opt/python/cp37-cp37m/bin/python3 setup.py bdist_wheel - 生成的WHEEL包将位于dist/目录下。

3. 上传和注册Numpy包

无论通过镜像站点下载还是手动编译生成，您都需要将Numpy包上传到MaxCompute项目空间，并完成注册。

(1) 修改文件后缀

• 将下载或生成的Numpy WHEEL包（如numpy-1.19.2-cp37-cp37m-manylinux1_x86_64.whl）重命名为.zip格式，例如numpy-1.19.2.zip。

(2) 上传资源

• 使用MaxCompute客户端上传Numpy包：

  add archive numpy-1.19.2.zip;
  

(3) 注册函数

• 在注册自定义函数时，确保资源列表中包含Numpy包。例如：

  CREATE FUNCTION my_udf AS 'my_script.MyClass' USING 'my_script.py,numpy-1.19.2.zip';
  

4. 安装和使用Pandas

在确保Numpy可用后，您可以按照类似的方式处理Pandas包：

(1) 下载或编译Pandas

• 从PyPI或镜像站点下载符合要求的Pandas WHEEL包（文件名需包含cp37-cp37m-manylinux1_x86_64）。
• 如果无法直接下载，可以参考Numpy的手动编译方法生成Pandas的WHEEL包。

(2) 上传和注册Pandas

• 将Pandas包重命名为.zip格式并上传：

  add archive pandas-1.0.5.zip;
  

• 在注册函数时添加Pandas包到资源列表。

5. 注意事项

• 兼容性检查：确保Numpy和Pandas的版本兼容。例如，Pandas 1.0.5通常需要Numpy 1.16及以上版本。
• 沙箱限制：MaxCompute的Python沙箱环境仅支持纯Python库和Numpy等特定二进制库。其他带有复杂依赖的库可能无法正常运行。
• DataWorks预装包：如果您使用DataWorks节点，可以直接利用预装的Numpy和Pandas（Python 3节点版本分别为1.18.1和1.0.5）。无需手动上传这些包。

总结

在MaxCompute中使用Pandas时，必须先确保Numpy已正确安装。如果PyPI页面上没有合适的Numpy包，您可以通过镜像站点下载或手动编译生成符合要求的WHEEL包，并将其上传到MaxCompute项目空间。完成Numpy的配置后，再按照相同方式处理Pandas包即可。