skdg26tulds2a_社区达人页

2022年04月

• 04.27 15:59:42
  发表了文章 2022-04-27 15:59:42

  Hadoop MapReduce 保姆级吐血宝典，学习与面试必读此文！（二）

  Hadoop MapReduce 宝典

  
• 04.27 15:54:22
  发表了文章 2022-04-27 15:54:22

  Hadoop MapReduce 保姆级吐血宝典，学习与面试必读此文！（一）

  Hadoop MapReduce 宝典

  
• 04.27 15:41:48
  发表了文章 2022-04-27 15:41:48

  耗时一个月，整理出这份Hadoop吐血宝典（三）

  Hadoop宝典
• 04.27 15:35:05
  发表了文章 2022-04-27 15:35:05

  耗时一个月，整理出这份Hadoop吐血宝典（二）

  Hadoop宝典

  
• 04.27 15:24:20
  发表了文章 2022-04-27 15:24:20

  耗时一个月，整理出这份Hadoop吐血宝典（一）

  Hadoop宝典

  
• 04.27 15:13:43
  发表了文章 2022-04-27 15:13:43

  Hive SQL的底层编译过程详解（二）

  本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。

  
• 04.27 15:09:16
  发表了文章 2022-04-27 15:09:16

  Hive SQL的底层编译过程详解（一）

  本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。

  
• 04.27 14:55:46
  发表了文章 2022-04-27 14:55:46

  字节跳动大数据开发面试题-附答案 （二）

  此面试题来自牛客网友分享的字节跳动应届一面，面试时长一小时。 网友情况：985 本硕。

  
• 04.27 14:51:09
  发表了文章 2022-04-27 14:51:09

  字节跳动大数据开发面试题-附答案 （一）

  此面试题来自牛客网友分享的字节跳动应届一面，面试时长一小时。 网友情况：985 本硕。

  
• 04.27 14:39:59
  发表了文章 2022-04-27 14:39:59

  数据仓库之数据质量建设（深度好文）（二）

  数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么？当然是数据质量治理，因为数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提。所以如何保障数据质量，确保数据可用性是数据仓库建设中不容忽视的环节。

  
• 04.27 14:35:47
  发表了文章 2022-04-27 14:35:47

  数据仓库之数据质量建设（深度好文）（一）

  数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么？当然是数据质量治理，因为数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提。所以如何保障数据质量，确保数据可用性是数据仓库建设中不容忽视的环节。

  
• 04.27 13:24:02
  发表了文章 2022-04-27 13:24:02

  数仓中指标-标签，维度-度量，自然键-代理键等各名词解析及关系

  作为一个数据人，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。有些词虽然只有一字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们之间的关系。

  
• 04.27 12:52:08
  发表了文章 2022-04-27 12:52:08

  Spark的两种核心Shuffle详解（二）

  在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。

  
• 04.27 12:47:42
  发表了文章 2022-04-27 12:47:42

  Spark的两种核心Shuffle详解（一）

  在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。

  
• 04.27 12:28:05
  发表了文章 2022-04-27 12:28:05

  实战 | Hive 数据倾斜问题定位排查及解决 （二）

  Hive 数据倾斜怎么发现，怎么定位，怎么解决

  
• 04.27 12:20:37
  发表了文章 2022-04-27 12:20:37

  实战 | Hive 数据倾斜问题定位排查及解决 （一）

  Hive 数据倾斜怎么发现，怎么定位，怎么解决

  
• 04.27 12:10:30
  发表了文章 2022-04-27 12:10:30

  Hive SQL语句的正确执行顺序

  关于 sql 语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于 select 和 group by 执行的先后顺序，有说 select 先执行，有说 group by 先执行，到底它俩谁先执行呢？

  
• 04.27 12:01:14
  发表了文章 2022-04-27 12:01:14

  关于数仓建设及数据治理的超全概括 （二）

  本文分为两大节介绍，第一节是数仓建设，第二节是数据治理，内容较长，还请耐心阅读！

  
• 04.27 11:42:10
  发表了文章 2022-04-27 11:42:10

  关于数仓建设及数据治理的超全概括 （一）

  本文分为两大节介绍，第一节是数仓建设，第二节是数据治理，内容较长，还请耐心阅读！

  
• 04.27 11:18:40
  发表了文章 2022-04-27 11:18:40

  基于Flink构建全场景实时数仓

  基于Flink构建全场景实时数仓

  
• 04.27 11:03:05
  发表了文章 2022-04-27 11:03:05

  2021超全大数据面试宝典，吐血总结十万字，大数据面试收藏这一篇就够了 （五）

  2021超全大数据面试宝典
• 04.27 10:46:19
  发表了文章 2022-04-27 10:46:19

  2021超全大数据面试宝典，吐血总结十万字，大数据面试收藏这一篇就够了 （四）

  2021超全大数据面试宝典
• 04.27 10:37:28
  发表了文章 2022-04-27 10:37:28

  2021超全大数据面试宝典，吐血总结十万字，大数据面试收藏这一篇就够了 （三）

  2021超全大数据面试宝典
• 04.27 10:28:08
  发表了文章 2022-04-27 10:28:08

  2021超全大数据面试宝典，吐血总结十万字，大数据面试收藏这一篇就够了 （二）

  2021超全大数据面试宝典
• 04.27 10:19:36
  发表了文章 2022-04-27 10:19:36

  2021超全大数据面试宝典，吐血总结十万字，大数据面试收藏这一篇就够了 （一）

  2021超全大数据面试宝典
• 04.27 09:56:29
  发表了文章 2022-04-27 09:56:29

  Flink进入大厂面试准备，收藏这一篇就够了

  Flink进入大厂面试准备

  
• 04.27 09:30:42
  发表了文章 2022-04-27 09:30:42

  一文读懂大数据实时计算（二）

  本文分为四个章节介绍实时计算，第一节介绍实时计算出现的原因及概念；第二节介绍实时计算的应用场景；第三节介绍实时计算常见的架构；第四节是实时数仓解决方案。

  
• 04.27 09:23:47
  发表了文章 2022-04-27 09:23:47

  一文读懂大数据实时计算（一）

  本文分为四个章节介绍实时计算，第一节介绍实时计算出现的原因及概念；第二节介绍实时计算的应用场景；第三节介绍实时计算常见的架构；第四节是实时数仓解决方案。

  
• 04.27 09:14:06
  发表了文章 2022-04-27 09:14:06

  MPP大规模并行处理架构详解

  MPP大规模并行处理架构详解

  
• 04.27 01:28:41
  发表了文章 2022-04-27 01:28:41

  万字长文详解HiveSQL执行计划 （三）

  Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。
• 04.27 01:24:50
  发表了文章 2022-04-27 01:24:50

  万字长文详解HiveSQL执行计划 （二）

  Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。
• 04.27 01:22:35
  发表了文章 2022-04-27 01:22:35

  万字长文详解HiveSQL执行计划 （一）

  Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。
• 04.27 01:11:22
  发表了文章 2022-04-27 01:11:22

  Hive窗口函数保姆级教程 （三）

  在SQL中有一类函数叫做聚合函数，例如sum()、avg()、max()等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据，又要显示聚集后的数据，这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。

  
• 04.27 01:07:16
  发表了文章 2022-04-27 01:07:16

  Hive窗口函数保姆级教程 （一）

  在SQL中有一类函数叫做聚合函数，例如sum()、avg()、max()等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据，又要显示聚集后的数据，这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。

  
• 04.27 01:07:06
  发表了文章 2022-04-27 01:07:06

  Hive窗口函数保姆级教程 （二）

  在SQL中有一类函数叫做聚合函数，例如sum()、avg()、max()等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据，又要显示聚集后的数据，这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。

  
• 04.26 23:53:00
  发表了文章 2022-04-26 23:53:00

  Hive企业级性能优化

  Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。

  
• 04.26 23:42:28
  发表了文章 2022-04-26 23:42:28

  精选Hive高频面试题11道，附答案详细解析(好文收藏)（一）

  精选Hive高频面试题11道，附答案详细解析

  
• 04.26 23:36:31
  发表了文章 2022-04-26 23:36:31

  精选Hive高频面试题11道，附答案详细解析(好文收藏)（二）

  精选Hive高频面试题11道，附答案详细解析
• 04.26 23:21:55
  发表了文章 2022-04-26 23:21:55

  Hive解析Json数组超全讲解（二）

  在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。
• 04.26 23:19:41
  发表了文章 2022-04-26 23:19:41

  Hive解析Json数组超全讲解（一）

  在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。
• 04.26 23:09:47
  发表了文章 2022-04-26 23:09:47

  Hive千亿级数据倾斜解决方案

  Hive千亿级数据倾斜解决方案
• 04.26 23:01:21
  发表了文章 2022-04-26 23:01:21

  一文学完所有的Hive Sql（两万字最全详解）（五）

  Hive Sql 详解
• 04.26 22:51:42
  发表了文章 2022-04-26 22:51:42

  一文学完所有的Hive Sql（两万字最全详解）（四）

  Hive Sql 详解
• 04.26 22:42:37
  发表了文章 2022-04-26 22:42:37

  一文学完所有的Hive Sql（两万字最全详解）（三）

  Hive Sql 详解
• 04.26 22:31:44
  发表了文章 2022-04-26 22:31:44

  一文学完所有的Hive Sql（两万字最全详解）（二）

  Hive Sql 详解
• 04.26 22:25:12
  发表了文章 2022-04-26 22:25:12

  一文学完所有的Hive Sql（两万字最全详解）（一）

  Hive Sql 详解
• 04.26 22:08:43
  发表了文章 2022-04-26 22:08:43

  上万字详解Spark Core（建议收藏） （二）

  详解Spark Core

  
• 04.26 21:58:46
  发表了文章 2022-04-26 21:58:46

  上万字详解Spark Core（建议收藏） （一）

  详解Spark Core

  
• 04.26 21:44:29
  发表了文章 2022-04-26 21:44:29

  美团优选大数据开发岗面试真题-附答案详细解析（二）

  美团优选大数据开发岗面试真题-附答案详细解析

  
• 04.26 21:44:18
  发表了文章 2022-04-26 21:44:18

  美团优选大数据开发岗面试真题-附答案详细解析（一）

  美团优选大数据开发岗面试真题-附答案详细解析