1175223700484759_个人页

2023年07月

• 07.29 11:02:29
  发表了文章 2023-07-29 11:02:29

  大数据面试题：Hive count(distinct)有几个reduce，海量数据会有什么问题

  count(distinct)只有1个reduce。 为什么只有一个reducer呢，因为使用了distinct和count(full aggreates)，这两个函数产生的mr作业只会产生一个reducer，而且哪怕显式指定set mapred.reduce.tasks=100000也是没用的。 当使用count(distinct)处理海量数据（比如达到一亿以上）时，会使得运行速度变得很慢，熟悉mr原理的就明白这时sql跑的慢的原因，因为出现了很严重的数据倾斜。
• 07.16 14:33:14
  发表了文章 2023-07-16 14:33:14

  《阿里大数据之路》读书笔记：总述

  阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。
• 07.04 23:13:01
  发表了文章 2023-07-04 23:13:01

  《阿里大数据之路》读书笔记：第二章 日志采集

  《阿里大数据之路》读书笔记：第二章 日志采集

2023年01月

• 01.30 15:10:18
  回答了问题 2023-01-30 15:10:18

  2023，社区讨论聊什么？话题由你定！

  赞0 踩0 评论0
• 01.28 09:10:27
  发表了文章 2023-01-28 09:10:27

  阿里云大数据开发三面面经，已过，面试题已配答案

  阿里云大数据开发三面面经，已过，面试题已配答案

  

2022年10月

• 10.30 13:05:33
  发表了文章 2022-10-30 13:05:33

  阿里云大数据开发二面面经，已过，面试题已配答案

  阿里云大数据开发一面面经，已过，面试题已配答案

  
• 10.21 23:59:11
  发表了文章 2022-10-21 23:59:11

  阿里云大数据开发一面面经，已过，面试题已配答案

  阿里云大数据开发一面面经，已过，面试题已配答案

  
• 10.17 15:49:06
  回答了问题 2022-10-17 15:49:06

  23届秋招，你怎么看？

  赞0 踩0 评论0
• 10.17 14:49:01
  发表了文章 2022-10-17 14:49:01

  数据仓库面试题——介绍下数据仓库

  对数据仓库的一些概念总结，对比数据库、数据湖有什么区别

2022年09月

• 09.29 23:01:42
  发表了文章 2022-09-29 23:01:42

  数据仓库面试题——数据仓库分层

  数据仓库分层

  
• 09.29 22:58:34
  发表了文章 2022-09-29 22:58:34

  大数据开发（牛客）面试被问频率最高的几道面试题

  大数据开发（牛客）面试被问频率最高的几道面试题

  
• 09.29 22:55:29
  发表了文章 2022-09-29 22:55:29

  大数据面试题V3.0，523道题，779页，46w字

  大数据面试题V3.0，523道题，779页，46w字
• 09.29 22:54:25
  发表了文章 2022-09-29 22:54:25

  大数据面试题：介绍下Kafka，Kafka的作用？Kafka的组件？适用场景？

  Kafka的作用？Kafka的组件？适用场景？

  
• 09.29 22:53:00
  发表了文章 2022-09-29 22:53:00

  数据仓库面试知识总结

  数据仓库面试知识总结