开发者社区> 问答> 正文

PyODPS的作用是什么?

PyODPS的作用是什么?

展开
收起
芯在这 2021-12-10 11:28:34 345 0
1 条回答
写回答
取消 提交回答
  • 用熟悉的Python利用MaxCompute大规模计算能力处理MaxCompute数据。

    PyODPS是MaxCompute 的 Python SDK,同时也提供 DataFrame 框架,提供类似 pandas 的语法,能利用 MaxCompute 强大的处理能力来处理超大规模数据。

    PyODPS 提供了对 ODPS 对象比如 表 、资源 、函数 等的访问。

    支持通过 run_sql/execute_sql 的方式来提交 SQL。

    支持通过 open_writer 和 open_reader 或者原生 tunnel API 的方式来上传下载数据

    PyODPS 提供了 DataFrame API,它提供了类似 pandas 的接口,能充分利用 MaxCompute 的计算能力进行DataFrame的计算。

    PyODPS DataFrame 提供了很多 pandas-like 的接口,但扩展了它的语法,比如增加了 MapReduce API 来扩展以适应大数据环境。

    利用map 、apply 、map_reduce 等方便在客户端写函数、调用函数的方法,用户可在这些函数里调用三方库,如pandas、scipy、scikit-learn、nltk

    2021-12-10 11:29:34
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
PyODPS架构以及DataFrame实现原理 立即下载
MaxCompute Logview参数详解和问题排查(废弃) 立即下载
MaxCompute Logview参数详解和问题排查 立即下载