分布式(hadoop)内核研发面试指南

简介: 最近一直在看简历,面试同学,发现符合要求的很少。本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。 如果 以下的问题不能很好回答,还是多多学习啊。

最近一直在看简历,面试同学,发现符合要求的很少。本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。

如果 以下的问题不能很好回答,还是多多学习啊。 如果很好回答,对阿里云有兴趣,欢迎找我。

面试:

基础能力

这里涉及一般为

  • 语言基础知识(一般需要在某语言2年以上经验)
  • 比如:JVM的GC算法,JAVA多线程并发机制,线程安全机制,OOM咋办,core了咋办
  • 算法基础知识,冒泡排序、链表、树、线性回归……
  • 分布式理论:数据分布方式、Lease机制、日志技术、两阶段提交、CAP理论、Quorum机制
  • 操作系统

……

复杂工程能力

  • 就是有没有做过,多人协作的项目
  • 你在其中什么角色? 一般项目有啥难点,遇到难点怎么办?

逻辑思维能力及表达能力

  • 考查思维,思路。需要清楚的回答上述的一些问题,不卑不亢。

潜力

  • 就是发展潜力,如果人比较有冲劲,思维比较活跃,目标明确,对未来规划也比较明确,潜力就比较大

稳定性(我们更加看重持续发展的同学,不是打一枪就跑了)

  • 为什么你要从这家公司离职?
  • 你打算进来,2年后,你想有什么样的改变?

hadoop相关(专家级,一般是开放式的)

比如:

  • 分析时数据倾斜了怎么办?
  • hdfs写的链路是啥?
  • 集群的利用率不高,为什么?怎么调查?
  • hbase二级索引是咋回事情?
  • 数据高可靠,服务高可用怎么做?
  • system占用率比较高,一般啥原因?
  • 如果让你设计一个spark,你打算怎么设计?
  • 流式计算怎么流控?
  • 实时计算与离线怎么混合部署?
  • 一车分布式理论的知识?

笔试:

主要考察编码能力,一般来讲,经常写代码的同学可能比较上手。
一般为5个题目,其中有2个算法题目。笔试过的同学80%都说比较简单,但是做起来就是不太理想。这个要注意平时写代码要记住关键的词(因为写代码没有自动补全,基本就是纸上或者在记事本上写的)

加分项

  • 一直在写技术博客,比如:flink源码分析
  • 参与社区项目开发,比如:贡献spark、hbase源码
  • 发表顶级论文

HBase技术交流社区 - 阿里官方“HBase生态+Spark社区大群”点击加入:https://dwz.cn/Fvqv066s
相关文章
[go 面试] 雪花算法与分布式ID生成
[go 面试] 雪花算法与分布式ID生成
|
运维 Kubernetes Java
Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
本文由仁励家网络科技(杭州)有限公司架构师赵云兴、葛志刚撰写,探讨了公司在优化HR SaaS解决方案时遇到的系统资源浪费和运维成本高的问题。通过引入Koupleless框架,成功将模块体积从500M缩减至5M以下,部署时间从6分钟缩短至3分钟,并大幅节省服务器资源。文章详细介绍了Koupleless的部署方案及优化措施,感谢Koupleless团队的专业支持,使人力家实现了多应用合并部署,降低了运维成本。
Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
|
运维 Kubernetes Java
Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
通过引入Koupleless框架,解决了多应用部署中资源浪费和运维成本高的问题,实现了模块瘦身、快速部署及流量控制优化,大幅降低了服务器资源占用和发布耗时,提升了系统稳定性和运维效率。最终,人力家成功实现了多应用的轻量集中部署,显著减少了运维成本。
 Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
|
存储 监控 Java
招行面试: 分布式调度 设计,要考虑 哪些问题?
45岁资深架构师尼恩在读者交流群中分享了关于设计分布式调度框架时需考虑的关键问题。近期有小伙伴在面试招商银行时遇到了相关难题,因准备不足而失利。为此,尼恩系统化地梳理了以下几点核心内容,帮助大家在面试中脱颖而出,实现“offer直提”。
|
NoSQL Java Redis
面试官:项目中如何实现分布式锁?
面试官:项目中如何实现分布式锁?
816 7
面试官:项目中如何实现分布式锁?
|
消息中间件 NoSQL Java
面试官必问的分布式锁面试题,你答得上来吗?
本文介绍了分布式锁的概念、实现方式及其在项目中的应用。首先通过黄金圈法则分析了分布式锁的“为什么”、“怎么做”和“做什么”。接着详细讲解了使用 Redisson 和 SpringBoot + Lettuce 实现分布式锁的具体方法,包括代码示例和锁续期机制。最后解释了 Lua 脚本的作用及其在 Redis 中的应用,强调了 Lua 保证操作原子性的重要性。文中还提及了 Redis 命令组合执行时的非原子性问题,并提供了 Lua 脚本实现分布式锁的示例。 如果你对分布式锁感兴趣或有相关需求,欢迎关注+点赞,必回关!
778 2
|
存储 NoSQL Java
一天五道Java面试题----第十一天(分布式架构下,Session共享有什么方案--------->分布式事务解决方案)
这篇文章是关于Java面试中的分布式架构问题的笔记,包括分布式架构下的Session共享方案、RPC和RMI的理解、分布式ID生成方案、分布式锁解决方案以及分布式事务解决方案。
一天五道Java面试题----第十一天(分布式架构下,Session共享有什么方案--------->分布式事务解决方案)
|
消息中间件 架构师 Java
阿里面试:秒杀的分布式事务, 是如何设计的?
在40岁老架构师尼恩的读者交流群中,近期有小伙伴在面试阿里、滴滴、极兔等一线互联网企业时,遇到了许多关于分布式事务的重要面试题。为了帮助大家更好地应对这些面试题,尼恩进行了系统化的梳理,详细介绍了Seata和RocketMQ事务消息的结合,以及如何实现强弱结合型事务。文章还提供了分布式事务的标准面试答案,并推荐了《尼恩Java面试宝典PDF》等资源,帮助大家在面试中脱颖而出。
|
消息中间件 缓存 负载均衡
这些年背过的面试题——分布式篇
分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。
|
Go API 数据库
[go 面试] 分布式事务框架选择与实践
[go 面试] 分布式事务框架选择与实践

热门文章

最新文章

相关实验场景

更多