• 关于

    spark sql执行流程

    的搜索结果

回答

我在使用spark-thriftserver的方式,通过beeline执行sql的时候,thriftserver会扫描所查询hive表的所有分区(hdfs上面的路径)然后有多少个路径,就会自动生成多少个task,这个task的数量可以调整吗?或者这个流程...
游客iwhrjhvjoyqts 2019-12-01 19:43:18 74485 浏览量 回答数 1

回答

14119/04/09 13:10:21 INFO FileSourceScanExec:Planning scan with bin packing,max size:134217728 bytes,open cost is considered as scanning 4194304 bytes.org.apache.spark.sql.AnalysisException:Path does ...
小六码奴 2019-12-01 19:38:46 354 浏览量 回答数 1

回答

Flink Checkpoint 执行流程详解什么是 FLink 状态重分布Flink OperatorState 是如何重分布的Flink KeyedState 是如何重分布的Savepoint 与 Checkpoint 的区别Flink 如何实现 Checkpoint 的 EXACTLY_ONCE 语义Flink ...
一人吃饱,全家不饿 2021-01-08 15:32:13 1901 浏览量 回答数 2

回答

产品简介 什么是MaxCompute呢&xff1f...https://developer.aliyun.com/ask/289589 如何查看odps里面sql执行所消耗的资源&xff1f;https://developer.aliyun.com/ask/289592 预付费形式下资源利用情况是什么样子的&xff1f;...
亢海鹏 2020-05-29 15:10:00 52566 浏览量 回答数 37

回答

有哪些odps spark的主python样例&xff1f;DataWorks百问百答36&xff1a;如何在DataWorks中使用组件&xff08;SQL存储过程&xff09;实现代码复用&xff1f;DataWorks百问百答37&xff1a;DataWorks-MaxCompute权限体系有哪些混淆点&...
dataworks团队 2020-12-09 18:40:56 1602 浏览量 回答数 0

回答

canal client可以作为常驻进程托管到实时流系统比如spark streaming、flink等&xff0c;也可以是作为批处理任务托管到离线调度系统。s3:kafka消费后的数据暂存外部系统&xff0c;可以是aws的s3或者hdfs、甚至是本地文件...
游客2q7uranxketok 2021-02-05 14:41:30 0 浏览量 回答数 0

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化