6hkip34i2a7n6_社区达人页

2022年05月

• 05.29 17:26:19
  发表了文章 2022-05-29 17:26:19

  SPARK中 会对Scan的小文件做合并到一个Task去处理么？

  SPARK中 会对Scan的小文件做合并到一个Task去处理么？

  
• 05.29 17:24:23
  发表了文章 2022-05-29 17:24:23

  SPARK 是怎么清除Shuffle中间结果数据的

  SPARK 是怎么清除Shuffle中间结果数据的
• 05.29 17:21:21
  发表了文章 2022-05-29 17:21:21

  SPARK push-based shuffle mapTask是怎么获取ESS列表信息

  SPARK push-based shuffle mapTask是怎么获取ESS列表信息
• 05.29 17:19:05
  发表了文章 2022-05-29 17:19:05

  SPARK SHUFFLE中 ShuffleId BlockManagerId 以及 与ESS（External Shuffle Server）交互

  SPARK SHUFFLE中 ShuffleId BlockManagerId 以及 与ESS（External Shuffle Server）交互
• 05.29 17:15:52
  发表了文章 2022-05-29 17:15:52

  SPARK SQL中 Grouping sets转Expand怎么实现的（逻辑计划级别）

  SPARK SQL中 Grouping sets转Expand怎么实现的（逻辑计划级别）
• 05.29 17:12:33
  发表了文章 2022-05-29 17:12:33

  深入理解SPARK SQL 中HashAggregateExec和ObjectHashAggregateExec以及UnsafeRow

  深入理解SPARK SQL 中HashAggregateExec和ObjectHashAggregateExec以及UnsafeRow

  
• 05.29 17:07:10
  发表了文章 2022-05-29 17:07:10

  SPARK Expand问题的解决(由count distinct、group sets、cube、rollup引起的)

  SPARK Expand问题的解决(由count distinct、group sets、cube、rollup引起的)

  
• 05.29 17:04:30
  发表了文章 2022-05-29 17:04:30

  SPARK统计信息的来源-通过优化规则来分析

  SPARK统计信息的来源-通过优化规则来分析

  
• 05.29 17:00:58
  发表了文章 2022-05-29 17:00:58

  SPARK SQL中 CTE(with表达式)会影响性能么？

  SPARK SQL中 CTE(with表达式)会影响性能么？

  
• 05.29 16:57:33
  发表了文章 2022-05-29 16:57:33

  spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时

  spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时

  
• 05.29 16:52:27
  发表了文章 2022-05-29 16:52:27

  spark task过多导致任务运行过慢甚至超时

  spark task过多导致任务运行过慢甚至超时

  
• 05.29 16:49:55
  发表了文章 2022-05-29 16:49:55

  Spark中的WholeStageCodegenExec(全代码生成)

  Spark中的WholeStageCodegenExec(全代码生成)

  
• 05.29 16:40:36
  发表了文章 2022-05-29 16:40:36

  Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决

  Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决

  
• 05.29 16:36:32
  发表了文章 2022-05-29 16:36:32

  spark hiveUDF 不要定义static成员变量

  spark hiveUDF 不要定义static成员变量
• 05.29 16:30:59
  发表了文章 2022-05-29 16:30:59

  spark在生产中是否要禁止掉BHJ(BroadcastHashJoin)

  spark在生产中是否要禁止掉BHJ(BroadcastHashJoin)

  
• 05.29 16:27:03
  发表了文章 2022-05-29 16:27:03

  spark hiveUDF transient的重要性

  spark hiveUDF transient的重要性
• 05.29 16:24:56
  发表了文章 2022-05-29 16:24:56

  Spark expression Codegen 之code代码块

  Spark expression Codegen 之code代码块

  
• 05.29 16:17:21
  发表了文章 2022-05-29 16:17:21

  Spark AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader

  Spark AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader

  
• 05.29 16:08:47
  发表了文章 2022-05-29 16:08:47

  spark CTAS union all （union all的个数很多）导致超过spark.driver.maxResultSize配置（1G）

  spark CTAS union all （union all的个数很多）导致超过spark.driver.maxResultSize配置（1G）
• 05.29 16:02:50
  发表了文章 2022-05-29 16:02:50

  spark outer join push down filter rule（spark 外连接中的下推规则）

  spark outer join push down filter rule（spark 外连接中的下推规则）

  
• 05.29 15:48:10
  发表了文章 2022-05-29 15:48:10

  spark hive类总是优先记载应用里面的jar包,跟spark.{driver/executor}.userClassPathFirst无关

  spark hive类总是优先记载应用里面的jar包,跟spark.{driver/executor}.userClassPathFirst无关
• 05.29 15:44:19
  发表了文章 2022-05-29 15:44:19

  spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理

  spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
• 05.29 15:35:26
  发表了文章 2022-05-29 15:35:26

  关于page Cache和memory mappped Files 和zero copy

  关于page Cache和memory mappped Files 和zero copy

  
• 05.29 15:33:18
  发表了文章 2022-05-29 15:33:18

  基于 k8s 调度遇到的问题

  基于 k8s 调度遇到的问题
• 05.29 15:32:18
  发表了文章 2022-05-29 15:32:18

  spark on k8s 镜像构建

  spark on k8s 镜像构建
• 05.29 15:28:44
  发表了文章 2022-05-29 15:28:44

  spark 3.x Plugin Framework

  spark 3.x Plugin Framework
• 05.29 15:21:49
  发表了文章 2022-05-29 15:21:49

  spark 对于hive metastore的兼容性随笔--通过classloader实现

  spark 对于hive metastore的兼容性随笔--通过classloader实现
• 05.29 15:19:13
  发表了文章 2022-05-29 15:19:13

  Spark SQL中掌控sql语句的执行 - 了解你的查询计划

  Spark SQL中掌控sql语句的执行 - 了解你的查询计划

  
• 05.29 15:15:00
  发表了文章 2022-05-29 15:15:00

  spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试

  spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
• 05.29 15:11:19
  发表了文章 2022-05-29 15:11:19

  yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）

  yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）
• 05.29 15:01:00
  发表了文章 2022-05-29 15:01:00

  【spark系列12】spark remote shuffle service(RSS)杂谈

  【spark系列12】spark remote shuffle service(RSS)杂谈
• 05.29 14:59:22
  发表了文章 2022-05-29 14:59:22

  【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划

  【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划
• 05.29 14:56:35
  发表了文章 2022-05-29 14:56:35

  【spark系列10】spark logicalPlan Statistics (逻辑计划阶段的统计信息)

  【spark系列10】spark logicalPlan Statistics (逻辑计划阶段的统计信息)
• 05.29 14:53:54
  发表了文章 2022-05-29 14:53:54

  【spark系列9】spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划

  【spark系列9】spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划
• 05.29 14:50:24
  发表了文章 2022-05-29 14:50:24

  【spark系列8】spark delta读数据实现分析

  【spark系列8】spark delta读数据实现分析
• 05.29 14:45:49
  发表了文章 2022-05-29 14:45:49

  【spark系列7】spark delta写操作ACID事务实现分析

  【spark系列7】spark delta写操作ACID事务实现分析
• 05.29 14:38:30
  发表了文章 2022-05-29 14:38:30

  【spark系列6】spark delta写操作ACID事务前传--写文件基础类FileFormat/FileCommitProtocol分析

  【spark系列6】spark delta写操作ACID事务前传--写文件基础类FileFormat/FileCommitProtocol分析
• 05.29 14:21:45
  发表了文章 2022-05-29 14:21:45

  spark needsUnsafeRowConversion java.util.NoSuchElementException: None.get

  spark needsUnsafeRowConversion java.util.NoSuchElementException: None.get
• 05.29 14:19:50
  发表了文章 2022-05-29 14:19:50

  【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API

  【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API
• 05.29 14:02:18
  发表了文章 2022-05-29 14:02:18

  【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定义sql

  【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定义sql
• 05.28 17:51:31
  发表了文章 2022-05-28 17:51:31

  【mlflow 系列8】向 mlflow 提交pr(pull request)

  【mlflow 系列8】向 mlflow 提交pr(pull request)
• 05.28 17:50:12
  发表了文章 2022-05-28 17:50:12

  【mlflow系列7】flask VS Gunicorn

  【mlflow系列7】flask VS Gunicorn
• 05.28 17:48:35
  发表了文章 2022-05-28 17:48:35

  scala中的self =＞

  scala中的self =＞
• 05.28 17:46:53
  发表了文章 2022-05-28 17:46:53

  【openJDK系列3】java OOM 分析（mat工具的使用）

  【openJDK系列3】java OOM 分析（mat工具的使用）