开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI有没有python版本的,从odps读取数据?

机器学习PAI有没有python版本的,从odps读取数据,然后在利用maxcompute(odps)资源进行fpgrowth等计算的脚本例子?

展开
收起
真的很搞笑 2024-06-30 20:15:57 42 0
1 条回答
写回答
取消 提交回答
  • 每天技术分享!And经营-高防-服务器-机房,适合网站、企业、金融行业、游戏服务器,steam服务器,高配稳定vx:SafeHost call+++

    当您在使用阿里云的机器学习平台(PAI)时,可以使用Python SDK 来与 MaxCompute(ODPS)进行交互。具体来说,您可以使用 PyODPS 这个 Python SDK 来读取和写入 MaxCompute 表中的数据。

    以下是如何使用 PyODPS 从 MaxCompute 表中读取数据的步骤:

    安装 PyODPS: 在 DSW(Data Science Workshop)的 Terminal 中,执行以下命令来安装 PyODPS:
    pip install pyodps
    您可以通过以下命令检查安装是否成功:
    python -c "from odps import ODPS"

    建立链接并读取数据: 使用以下示例代码来建立与 MaxCompute 的连接,并从表中读取数据:
    Python

    import os
    from odps import ODPS
    from odps.df import DataFrame

    建立链接。

    o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
    )

    读取数据。

    sql = '''
    SELECT *
    FROM your-default-project.


    LIMIT 100;
    '''
    query_job = o.execute_sql(sql)
    result = query_job.open_reader(tunnel=True)
    df = result.to_pandas(n_process=1)

    n_process 配置可参考机器配置,取值大于1时可以开启多线程加速。

    AI 生成的代码。仔细查看和使用。 有关常见问题解答的详细信息.其中:
    ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET 需要设置为您的阿里云账号的 AccessKey ID 和 AccessKey Secret。
    your-default-project 和 your-end-point 需要替换为您设置的默认项目名称和 Endpoint 信息。
    这样,您就可以使用 PyODPS 从 MaxCompute 表中读取数据了。如果您需要进行其他操作(例如写入数据),也可以参考相关文档。

    2024-07-06 11:52:55
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载