大数据计算MaxCompute 使用 maxframe 报错是什么原因啊？

在使用 MaxCompute 的 MaxFrame 时，可能会遇到多种报错问题。以下是常见报错的原因及解决方案，供您参考：

1. 报错：invalid type INT for function UDF definition, you need to set odps.sql.type.system.odps2=true; in order to use it

原因

该错误通常是由于未开启 MaxCompute 2.0 数据类型版本，但代码中却使用了 MaxCompute 2.0 的数据类型。

解决方案

通过设置 odps.sql.type.system.odps2 参数为 true 来启用 MaxCompute 2.0 数据类型支持。具体代码如下：

from maxframe import config
# 在 new_session 之前添加
config.options.sql.settings = {
    "odps.sql.type.system.odps2": "true"
}

2. 报错：UDF : No module named 'cloudpickle'

原因

该错误是由于缺少依赖的 cloudpickle 包导致的。

解决方案

引用 MaxCompute 基础镜像，确保所需的依赖包已包含在运行环境中。具体代码如下：

from maxframe import config
# 在 new_session 之前添加
config.options.sql.settings = {
    "odps.session.image": "common",
}

3. 如何在 DataFrame 提交（apply）的 UDF 中实现资源复用？

场景描述

在某些 UDF 场景中，可能需要初始化数据库连接、加载模型等资源密集型操作。如果每次调用 UDF 都重新初始化资源，会导致性能下降。

解决方案

利用 Python 函数参数默认值只被初始化一次的特性，可以实现资源复用。例如，以下代码展示了如何仅加载一次模型：

def predict(s, _ctx={}):
    from ultralytics import YOLO
    if not _ctx.get("model", None):
        model = YOLO(os.path.join("./", "yolo11n.pt"))
        _ctx["model"] = model
    model = _ctx["model"]
    # 后续调用模型的相关接口

对于需要销毁资源的场景，可以使用自定义类管理资源的创建和销毁。例如：

class MyConnector:
    def __init__(self):
        self.conn = create_connection()

    def __del__(self):
        try:
            self.conn.close()
        except:
            pass

def process(s, connector=MyConnector()):
    connector.conn.execute("xxxxx")

注意：初始化的实际执行次数取决于运行 UDF 的 Worker 数量。每个 Worker 在处理其分配的数据过程中，初始化过程只会执行一次。

4. 其他常见报错及解决方法

报错：Test connection fail: ODPS-0420111: Project not found - '<project_name>' 或 Test connection fail: ODPS-0130013: Authorization exception

原因

• 目标项目不存在或项目名称输入错误。
• 使用的 AccessKey 对应的阿里云账号或 RAM 用户未添加到目标项目中。

解决方案

1. 登录 MaxCompute 控制台，确认项目名称是否正确。
2. 如果需要其他用户连接目标项目进行协同开发，请将用户添加到目标项目中。具体操作请参见相关文档。

报错：Test connection fail: connect timed out, the possible reason is that the endpoint '<endpoint>' is wrong

原因

填写的 Endpoint 参数值错误。例如，在外网环境下使用了内网 Endpoint。

解决方案

根据您的网络环境和区域，选择正确的 Endpoint。具体信息请参考官方文档。

报错：Test connection fail: The specified project or table name is not valid or missing

原因

误将 Tunnel Endpoint 填入了 Endpoint 参数。

解决方案

确保填写的是与项目所属区域和网络环境相符的 Endpoint，而不是 Tunnel Endpoint。

总结

以上是 MaxFrame 常见报错的原因及解决方案。如果您遇到其他问题，建议结合具体的错误日志，进一步排查问题根源。同时，您可以使用 Logview 2.0 查看作业的详细执行情况，快速定位问题。

希望这些信息能帮助您解决问题！您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。