大数据计算MaxCompute使用pyodps 和 odpssql对mc表数据清洗处理 哪个效率高?
"1.大数据计算MaxCompute使用pyodps 和 odpssql对mc表数据进行清洗处理 哪个效率会高一些呢？
2.大数据计算MaxCompute mc的cte 产生的临时结果集 的生命周期有多长呢 可以在odps sql 节点 里面使用么？"
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看使用 pyodps 对 MaxCompute 表数据进行清洗处理一般比使用 odpssql 效率更高。原因如下：
- PyODPS 是一个 Python 包，支持所有 SQL 功能并提供了 DataFrame 等高级操作，比 odpsql 更适合于数据清洗。
- PyODPS 提供了一系列函数和模块，能够快速完成数据清洗任务。
- PyODPS 支持多线程处理，因此可以加快处理速度。
2023-11-11 14:52:07赞同 展开评论 打赏 -
CTE(公共临时表)的存在时间是有限制的，一般是在一个SQL查询之内。因此，在同一个查询中可以多次引用相同的CTE。一般来说，ODPS SQL节点可以支持CTE的使用，
2023-11-07 22:05:28赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2476
MaxCompute中执行SQL报错ODPS-0130071
23343
MaxCompute整个空间查询都查不了，这是什么原因？
679
请问大数据计算MaxCompute有主键这种说法么?
712
大数据计算MaxCompute如果一个字段超过8mb，mc有办法存储吗？
115
DataWorks中DBeaver查询MaxCompute，默认是UTC时区，这个要怎么修改呢？
129
大数据计算MaxCompute中如果说我这边的程序接收到用户上传文件的请求，应该调用哪个API接口？
130
数字营销主要有三方参与者，分别是哪些？
1131
在大数据计算MaxCompute，是不是pyodps的库，还不支持这样的语句啊？
21
MaxCompute在d2中使用python3调用阿里云的通义千问api接口，报错如下： 貌似无法？
285
展开全部
阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
131707
阿里云开源离线同步工具DataX3.0介绍
103306
大数据环境下该如何优雅地设计数据分层
40240
盘古：阿里云飞天分布式存储系统设计深度解析
44451
odps是什么?
68223
美柚：最懂女性App背后的混合云架构与大数据服务
23746
阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
24361
优酷背后的大数据秘密
22243
Python+大数据计算平台，PyODPS架构手把手教你搭建
17894
一分钟了解阿里云产品：大数据计算服务MaxCompute概述
18279
展开全部
