勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
暂无个人介绍
-
发表了文章 2022-05-29
深入理解SPARK SQL 中HashAggregateExec和ObjectHashAggregateExec以及UnsafeRow
深入理解SPARK SQL 中HashAggregateExec和ObjectHashAggregateExec以及UnsafeRow
-
发表了文章 2022-05-29
SPARK Expand问题的解决(由count distinct、group sets、cube、rollup引起的)
SPARK Expand问题的解决(由count distinct、group sets、cube、rollup引起的)
-
发表了文章 2022-05-29
SPARK统计信息的来源-通过优化规则来分析
SPARK统计信息的来源-通过优化规则来分析
-
发表了文章 2022-05-29
SPARK SQL中 CTE(with表达式)会影响性能么？
SPARK SQL中 CTE(with表达式)会影响性能么？
-
发表了文章 2022-05-29
spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时
spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时
-
发表了文章 2022-05-29
spark task过多导致任务运行过慢甚至超时
spark task过多导致任务运行过慢甚至超时
-
发表了文章 2022-05-29
Spark中的WholeStageCodegenExec(全代码生成)
Spark中的WholeStageCodegenExec(全代码生成)
-
发表了文章 2022-05-29
Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决
Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决
-
发表了文章 2022-05-29
spark hiveUDF 不要定义static成员变量
spark hiveUDF 不要定义static成员变量
-
发表了文章 2022-05-29
spark在生产中是否要禁止掉BHJ(BroadcastHashJoin)
spark在生产中是否要禁止掉BHJ(BroadcastHashJoin)
-
发表了文章 2022-05-29
spark hiveUDF transient的重要性
spark hiveUDF transient的重要性
-
发表了文章 2022-05-29
Spark expression Codegen 之code代码块
Spark expression Codegen 之code代码块
-
发表了文章 2022-05-29
Spark AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader
Spark AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader
-
发表了文章 2022-05-29
spark CTAS union all （union all的个数很多）导致超过spark.driver.maxResultSize配置（1G）
spark CTAS union all （union all的个数很多）导致超过spark.driver.maxResultSize配置（1G）
-
发表了文章 2022-05-29
spark outer join push down filter rule（spark 外连接中的下推规则）
spark outer join push down filter rule（spark 外连接中的下推规则）
-
发表了文章 2022-05-29
spark hive类总是优先记载应用里面的jar包,跟spark.{driver/executor}.userClassPathFirst无关
spark hive类总是优先记载应用里面的jar包,跟spark.{driver/executor}.userClassPathFirst无关
-
发表了文章 2022-05-29
spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
-
发表了文章 2022-05-29
关于page Cache和memory mappped Files 和zero copy
关于page Cache和memory mappped Files 和zero copy
-
发表了文章 2022-05-29
基于 k8s 调度遇到的问题
基于 k8s 调度遇到的问题
-
发表了文章 2022-05-29
spark on k8s 镜像构建
spark on k8s 镜像构建
-
发表了文章 2022-05-29
spark 3.x Plugin Framework
spark 3.x Plugin Framework
-
发表了文章 2022-05-29
spark 对于hive metastore的兼容性随笔--通过classloader实现
spark 对于hive metastore的兼容性随笔--通过classloader实现
-
发表了文章 2022-05-29
Spark SQL中掌控sql语句的执行 - 了解你的查询计划
Spark SQL中掌控sql语句的执行 - 了解你的查询计划
-
发表了文章 2022-05-29
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
-
发表了文章 2022-05-29
yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）
yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）
-
发表了文章 2022-05-29
【spark系列12】spark remote shuffle service(RSS)杂谈
【spark系列12】spark remote shuffle service(RSS)杂谈
-
发表了文章 2022-05-29
【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划
【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划
-
发表了文章 2022-05-29
【spark系列10】spark logicalPlan Statistics (逻辑计划阶段的统计信息)
【spark系列10】spark logicalPlan Statistics (逻辑计划阶段的统计信息)
-
发表了文章 2022-05-29
【spark系列9】spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划
【spark系列9】spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划
-
发表了文章 2022-05-29
【spark系列8】spark delta读数据实现分析
【spark系列8】spark delta读数据实现分析
-
发表了文章 2022-05-29
【spark系列7】spark delta写操作ACID事务实现分析
【spark系列7】spark delta写操作ACID事务实现分析
-
发表了文章 2022-05-29
【spark系列6】spark delta写操作ACID事务前传--写文件基础类FileFormat/FileCommitProtocol分析
【spark系列6】spark delta写操作ACID事务前传--写文件基础类FileFormat/FileCommitProtocol分析
-
发表了文章 2022-05-29
spark needsUnsafeRowConversion java.util.NoSuchElementException: None.get
spark needsUnsafeRowConversion java.util.NoSuchElementException: None.get
-
发表了文章 2022-05-29
【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API
【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API
-
发表了文章 2022-05-29
【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定义sql
【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定义sql
-
发表了文章 2022-05-28
【mlflow 系列8】向 mlflow 提交pr(pull request)
【mlflow 系列8】向 mlflow 提交pr(pull request)
-
发表了文章 2022-05-28
【mlflow系列7】flask VS Gunicorn
【mlflow系列7】flask VS Gunicorn
-
发表了文章 2022-05-28
scala中的self =＞
scala中的self =＞
-
发表了文章 2022-05-28
【openJDK系列3】java OOM 分析（mat工具的使用）
【openJDK系列3】java OOM 分析（mat工具的使用）
-
发表了文章 2022-05-28
【go系列5】golang中的通道
【go系列5】golang中的通道
-
发表了文章 2022-05-28
【go系列4】golang 函数命名返回值
【go系列4】golang 函数命名返回值
-
发表了文章 2022-05-28
【go系列3】go 的包管理工具go modules的使用
【go系列3】go 的包管理工具go modules的使用
-
发表了文章 2022-05-28
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析（二）
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析（二）
-
发表了文章 2022-05-28
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析（一）
【spark系列3】spark 3.0.1 AQE(Adaptive Query Exection)分析（一）
-
发表了文章 2022-05-28
go系列2】 关于go中与java C++中应该注意的语法糖以及不同点
go系列2】 关于go中与java C++中应该注意的语法糖以及不同点
-
发表了文章 2022-05-28
【openJDK系列1】macos编译openJDK 8
【openJDK系列1】macos编译openJDK 8
-
发表了文章 2022-05-28
【k8s系列5】KubernetesClientException: too old resource version 原因分析
【k8s系列5】KubernetesClientException: too old resource version 原因分析
-
发表了文章 2022-05-28
【mflow系列6】mlflow model registry
【mflow系列6】mlflow model registry
-
发表了文章 2022-05-28
【go系列1】go的安装（mac）
【go系列1】go的安装（mac）
-
发表了文章 2022-05-28
【mlflow系列5】一站式开源测试平台MeterSphere
【mlflow系列5】一站式开源测试平台MeterSphere
-
发表了文章
2023-06-12
Apache Hudi初探(九)(与spark的结合)--非bulk_insert模式
-
发表了文章
2023-06-12
Apache Hudi初探(八)(与spark的结合)--非bulk_insert模式
-
发表了文章
2023-06-12
Apache Hudi初探(七)(与spark的结合)
-
发表了文章
2023-06-12
Apache Hudi初探(六)(与spark的结合)
-
发表了文章
2023-06-12
Apache Hudi初探(五)(与spark的结合)
-
发表了文章
2023-06-12
Apache Hudi初探(四)(与spark的结合)
-
发表了文章
2023-06-12
Apache Hudi初探(三)(与spark的结合)
-
发表了文章
2023-06-12
Spark 3.1.1遇到的 BroadcastQueryStageExec timeout
-
发表了文章
2023-06-12
Apache Hudi初探(二)(与spark的结合)
-
发表了文章
2023-06-12
Apache Hudi初探(与spark的结合)
-
发表了文章
2023-06-12
spark full outer join 数据倾斜导致OOM
-
发表了文章
2023-06-12
数据湖的选型(delta iceberg hudi)以及比对
-
发表了文章
2023-06-12
SPARK中InMemoryFileIndex文件缓存导致的REFRESH TABLE tableName问题
-
发表了文章
2023-06-12
SPARK outputDeterministicLevel的作用--任务全部重试或者部分重试
-
发表了文章
2023-06-12
Spark 3.1.1 shuffle fetch 导致shuffle错位的问题
-
发表了文章
2023-06-12
Spark做TPC-DS性能测试
-
发表了文章
2023-06-12
关于jvm范型和scala implicit隐式参数以及classTag[T] typeTag[T]的一点思考
-
发表了文章
2023-06-12
SPARK中metrics是怎么传递的
-
发表了文章
2023-06-12
Delta Lake中CDC的实现
-
发表了文章
2023-06-12
SPARK中关于HighlyCompressedMapStatus的说明（会造成运行时的数据不精确）
