大数据必知必会系列——面试官一问就懵:你们做过的项目技术是如何选型的?[新星计划]

简介: 大数据必知必会系列——面试官一问就懵:你们做过的项目技术是如何选型的?[新星计划]

引言

大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。

学习大数据差不多一年了,笔者最近在整理大数据学习的笔记资料,这个系列是整理的一些大数据必知必会的知识。

面试官前面问技术使用背的 (划掉)回答行云流水,那接下来谈谈项目选型吧,顿时懵了

那我们就来好好说一下除了项目代码以外的东西。

(一)你们的项目框架版本是如何选型的?

1)Apache:运维麻烦,组件间兼容性需要自己调研。(一般大厂使用,技术实力雄厚,有专业 的运维人员)

2)CDH:国内使用最多的版本,但 CM 不开源,但其实对中、小公司使用来说没有影响(建议使

用)

HDP:开源,可以进行二次开发,但是没有 CDH 稳定,国内使用较少

(二)服务器选型

服务器使用物理机还是云主机?

1)机器成本考虑:

a.物理机:以 128G 内存,20 核物理 CPU,40 线程,8THDD 和 2TSSD 硬盘,单台报价 4W 出头,需考虑托管服务器费用。一般物理机寿命 5 年左右

b.云主机,以阿里云为例,差不多相同配置,每年 5W

2)运维成本考虑:

a.物理机:需要有专业的运维人员

b.云主机:很多运维工作都由阿里云已经完成,运维相对较轻松

(三)集群规模

(四)人员配置参考

小型公司(3 人左右):组长 1 人,剩余组员无明确分工,并且可能兼顾 javaEE 和前端。中小型公司(3~6 人左右):组长 1 人,离线 2 人左右,实时 1 人左右(离线一般多于实时),

JavaEE 1 人(有或者没有人单独负责 JavaEE,有时是有组员大数据和 JavaEE 一起做,或者大数据和前端一起做)。

中型公司(5~10 人左右):组长 1 人,离线 3~5 人左右(离线处理、数仓),实时 2 人左右, JavaEE 1 人左右(负责对接 JavaEE 业务),前端 1 人左右(有或者没有人单独负责前端)。

中大型公司(5~20 人左右):组长 1 人,离线 5~10 人(离线处理、数仓),实时 5 人左右, JavaEE2 人左右(负责对接 JavaEE 业务),前端 1 人(有或者没有人单独负责前端)。(发展比较良好的中大型公司可能大数据部门已经细化拆分,分成多个大数据组,分别负责不同业务)

上面只是参考配置,因为公司之间差异很大,例如 ofo 大数据部门只有 5 个人左右,因此根据所选公司规模确定一个合理范围,在面试前必须将这个人员配置考虑清楚,回答时要非常确定。

总结

以上便是项目选型上的一些参考回答,愿你读过之后有自己的收获,如果有收获不妨关注一下~我们下期再见👋


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
420 4
|
SQL 分布式计算 大数据
别再迷信“上大数据就能飞”了!大数据项目成败的5个真相
别再迷信“上大数据就能飞”了!大数据项目成败的5个真相
269 6
|
JSON 分布式计算 大数据
springboot项目集成大数据第三方dolphinscheduler调度器
springboot项目集成大数据第三方dolphinscheduler调度器
767 3
|
数据采集 分布式计算 数据可视化
大数据项目成功的秘诀——不只是技术,更是方法论!
大数据项目成功的秘诀——不只是技术,更是方法论!
400 8
大数据项目成功的秘诀——不只是技术,更是方法论!
|
分布式计算 大数据 Java
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
334 0
|
消息中间件 运维 Java
招行面试:RocketMQ、Kafka、RabbitMQ,如何选型?
45岁资深架构师尼恩针对一线互联网企业面试题,特别是招商银行的高阶Java后端面试题,进行了系统化梳理。本文重点讲解如何根据应用场景选择合适的消息中间件(如RabbitMQ、RocketMQ和Kafka),并对比三者的性能、功能、可靠性和运维复杂度,帮助求职者在面试中充分展示技术实力,实现“offer直提”。此外,尼恩还提供了《尼恩Java面试宝典PDF》等资源,助力求职者提升架构、设计、开发水平,应对高并发、分布式系统的挑战。更多内容及技术圣经系列PDF,请关注【技术自由圈】获取。
|
NoSQL Java Redis
面试官:项目中如何实现分布式锁?
面试官:项目中如何实现分布式锁?
722 7
面试官:项目中如何实现分布式锁?
|
JavaScript 前端开发
vue尚品汇商城项目-day01【8.路由跳转与传参相关面试题】
vue尚品汇商城项目-day01【8.路由跳转与传参相关面试题】
242 0
vue尚品汇商城项目-day01【8.路由跳转与传参相关面试题】
|
监控 Java 开发者
揭秘Struts 2性能监控:选对工具与方法,让你的应用跑得更快,赢在起跑线上!
【8月更文挑战第31天】在企业级应用开发中,性能监控对系统的稳定运行至关重要。针对流行的Java EE框架Struts 2,本文探讨了性能监控的工具与方法,包括商用的JProfiler、免费的VisualVM以及Struts 2自带的性能监控插件。通过示例代码展示了如何在实际项目中实施这些监控手段,帮助开发者发现和解决性能瓶颈,确保应用在高并发、高负载环境下稳定运行。选择合适的监控工具需综合考虑项目需求、成本、易用性和可扩展性等因素。
454 0
|
存储 算法 Java
大厂面试高频:什么是自旋锁?Java 实现自旋锁的原理?
本文详解自旋锁的概念、优缺点、使用场景及Java实现。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:什么是自旋锁?Java 实现自旋锁的原理?