高效使用 PyODPS 最佳实践

简介: 以更清晰的认知 PyODPS,DataWorks PyODPS 节点以及 PyODPS 何时在计算集群运行,开发者如何利用 PyODPS 更高效地进行数据开发。

PyODPS 是 MaxCompute(ODPS) Python SDK,为 MaxCompute 对象提供了 Python 端的操作接口,同时,对于熟悉 Pandas 的用户来说,它提供了 DataFrame API 来用类似 Pandas 的接口进行大规模数据分析以及处理,并能够方便的将 MaxCompute 的分布式 DataFrame 向本地 Pandas DataFrame 转换。正因为如此的方便灵活,在实际使用过程中,不少用户容易把 PyODPS 用成单机处理模式,没有最大限度发挥 MaxCompute 分布式运算的性能。本文主要介绍如何高效地使用 PyODPS 处理数据。

概念

首先介绍基本概念。PyODPS 作为一个 SDK,本身运行于各种客户端,如下图所示,PyODPS 位于紫色部分,可以在是个人 PC,也可以是 DataWorks 的调度节点,或者 PAI Notebooks 的运行环境。需要注意的是,DataWorks 中的 PyODPS 节点也是一个资源非常受限的客户端运行容器,内置了 PyODPS 包以及必要的 Python 环境,并不使用 MaxCompute 资源,有较强的内存限制。因此合理利用 PyODPS 提供的分布式 DataFrame 功能,将主要的计算提交到 MaxCompute 分布式执行而不是在 PyODPS 客户端节点下载处理,是正确使用 PyODPS 的关键。这篇文章详细介绍了 PyODPS 代码跑在哪里
image.png

尽量避免数据下载

很多用户习惯于用 Pandas 处理数据。PyODPS 提供了 to_pandas 接口,可以直接将 MaxCompute 数据转化成 Pandas DataFrame 数据结构,这个接口很受欢迎。但这个接口只应该被用于获取小规模数据做本地开发调试使用,而不是用来大规模处理数据。使用这个接口会触发下载行为,将位于 MaxCompute 中的海量数据下载到本地,如果后续操作的都是本地的 DataFrame,则丧失了 MaxCompute 的大规模并行计算能力。而且,数据量稍大,单机内存就很容易产生 OOM。

正确的使用方式,是使用 PyODPS DataFrame 接口来完成数据处理。常见的需求,比如需要对每一行数据处理然后写回表,或者一行数据要拆成多行,都可以通过 PyODPS DataFrame 中的 map 或者 apply 实现,有的甚至只需要一行代码,足够高效与简洁。使用这些接口我们最终都会翻译成 SQL 到 MaxCompute 计算集群做分布式计算,并且本地几乎没有任何的内存消耗,显然相比于单机有很大的性能提升。下面我们以一个实际的例子来说明。

一个例子:分词

用户需要通过分析每天产生的日志字符串来提取一些信息,有一个只有一列的表,它的类型是 string,通过 jieba 分词可以将中文语句分词,然后再找到想要的关键词存储到信息表里。很多人会习惯于单机处理数据的思维,一行一行的读出数据,然后一行一行地处理数据,然后再一行一行的写入目标表,所以代码会变成这样:

import jieba
t = o.get_table('word_split')
out = []
with t.open_reader() as reader:
    for r in reader:
        words = list(jieba.cut(r[0]))
        #
        # 处理逻辑,产生出 processed_data
        #
        out.append(processed_data)
out_t = o.get_table('words')
with out_t.open_writer() as writer:
    writer.write(out)

我们分析一下整个流程,下载上传数据消耗了大量的时间,并且在执行脚本的机器上需要很大的内存处理所有的数据,特别对于 DataWorks 用户,很容易超过默认分配的内存值,导致 OOM 运行报错。所以这样的问题应该怎么解决呢?答案就是利用 MaxCompute 的分布式能力,PyODPS 就能帮你做到这一点。

高效的分词

当我们提出用 PyODPS DataFrame 改写时,很多人望而却步,现实情况中,我上面代码中隐去的逻辑可能非常非常复杂,有的甚至上千行,用户会觉得改起来是不是太复杂了,改写成本是不是太多,其实大可不必担心,中间的处理过程大部分是不需要动的,我们利用 apply接口就能做到分布式的执行:

from odps.df import output
out_table = o.get_table('words')
df = o.get_table('word_split').to_df()
@output(out_table.schema.names, out_table.schema.types)
def handle(row):
    import jieba
    words = list(jieba.cut(r[0]))
    #
    # 处理逻辑,产生出 processed_data
    #
    yield processed_data
df.apply(handle, axis=1).persist(out_table)

我们可以看到复杂逻辑都可以放在 handle 这个函数里,这个函数会被自动序列化到服务端作为 UDF 使用,在服务端调用执行,而且因为 handle 在服务端实际执行时也是对每一行进行处理的,所以逻辑上是没有区别的,不同的是,这样写的程序在提交到 MaxCompute 端执行时可以有多台机器帮你同时处理数据,可想而知时间上会节约很多,最后调用 persist 接口会将产生的数据直接写到另一张 MaxCompute 表中,所有的数据产生与消费都在 MaxCompute 集群完成,也节约了本地的网络与内存。另外在这个例子中我们也使用到了三方包,MaxCompute 是支持自定义函数中使用三方包的,可以参考文章所以,用户大可不必担心代码改动带来的成本,事实上主要逻辑几乎不要改动就可以享受到 MaxCompute 的大规模计算能力。

总结

利用 PyODPS,我们有很多种更高效操作 MaxCompute 数据的方式,大家有自己在实践过程中获得的感悟也可以积极分享出来,共同提升 MaxCompute Python 生态。最后,分享一句 Pandas 作者的一句话:精通面向数组的编程和思维方式是成为 Python 科学计算牛人的一大关键步骤。多多使用 apply, map 接口,让我们的数据飞起来!

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
关系型数据库 Serverless OLAP
构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践
构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践
79668 2
|
4月前
|
存储 分布式计算 大数据
MaxCompute查询加速的能力,是由其底层的系统架构实现的。
MaxCompute查询加速的能力,是由其底层的系统架构实现的。
29 1
最佳实践—如何高效使用IN查询
本文将介绍如何在PolarDB-X中做IN查询时,选择最佳的Values个数。
最佳实践—如何高效使用IN查询
|
SQL 存储 运维
最佳实践—如何优化数据导入导出
数据库实际应用场景中经常需要进行数据导入导出,本文将介绍如何使用数据导入导出工具。
222 0
|
12月前
|
分布式计算 DataWorks API
基于pyodps对MaxComputer表的数据探查
本次脚本设计是针对大批量表,并且没有明确业务支持下的数据探查,会根据不同的类型进行判定,根据结果值进行分析得出结论,并给出一定的建议,同时该脚本仅仅支持普通表,一级分区表和二级分区表;一级分区表的分区字段必须是ds或者pt。
811 0
|
机器学习/深度学习 SQL 分布式计算
基于MaxCompute分布式Python能力的大规模数据科学分析
如何利用云上分布式 Python 加速数据科学。 如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本文介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一,就会用 MaxCompute 分布式 Python 的能力。
1375 0
基于MaxCompute分布式Python能力的大规模数据科学分析
|
SQL 分布式计算 DataWorks
PyODPS 基本操作 | 学习笔记
快速学习 PyODPS 基本操作
3244 0
PyODPS  基本操作 | 学习笔记
|
SQL 分布式计算 DataWorks
【MaxCompute 常见问题】 PyODPS
1. PyODPS数据类型如何设置? 如果您使用 PyODPS,可以通过下列方法打开新数据类型开关: 如果通过 execute_sql 方式打开新数据类型,可以执行 o.execute_sql('setodps.sql.type.system.odps2=true;query_sql', hints={"od ps.sql.submit.mode" : "script"})。 如果通过 Dataframe 打开新数据类型
【MaxCompute 常见问题】 PyODPS
|
SQL 数据采集 分布式计算
数据治理中 PyODPS 的正确使用方式
表饱和度(字段是否为空)、字段阈值(数值类字段取值是否超出有效边界)是评估数据质量的关键指标,由于是单表内字段级别的校验和统计,并且几乎涉及所有表,范围大、逻辑简单、重复性强,结合 Python 开发效率高的特点,很多数据工程师会使用 PyODPS 进行相关功能的开发。本文基于 PyODPS 分别使用 3 种方式实现了“饱和度统计”功能,展示了它们的执行效率,并分析了原因。
868 0
|
SQL 分布式计算 BI
MaxCompute数仓构建流程基本概念
本文利用图文解析,让您更直观的了解MaxCompute数仓构建流程。
941 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute