新手大数据必问十个问题

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 新手大数据必问十个问题

无论在学习群、星球还是私底下,总有很多想学大数据的同学会问这几个问题。今天列举了这十个高频问题,虽然基础,但是经典。




1. 电脑需要什么配置?


学大数据的电脑配置主要在内存方面,至少8G,上不封顶,一般16G够用。当然这只是学习层面,自己搭虚拟机玩玩。工作中,公司自然会给你分配服务器让你工作。



2. 有哪些方向?


数据开发、数据分析、数据挖掘。其中每个大方向又拆分了几个小方向。


三者的联系是,数据过来之后先进行开发,然后进行分析,最后从数据中挖掘出价值并进行应用。



3. 用Java还是Python?


数据分析和数据挖掘基本使用Python。


数据开发不局限于语言。数据开发大多数Java,少部分Python,也有Scala,具体看公司项目技术栈。因为大部分大数据框架都支持Java接口,而且大部分公司项目技术栈都用Java,所以Java居多。Python更多地使用在脚本或者前期的框架粘合。Scala大多用在Spark框架。


具体可以去招聘网站的JD看,先看自己想去的公司,最后再看自己所在城市的公司。



4. 需要学机器学习吗?


数据挖掘需要机器学习的知识,部分数据分析岗位需要机器学习知识。


数据开发大多数是不需要的,但有些公司的数据开发岗位也要涉及到推荐系统模型等,或者要使用Spark的mlib库等等。初学者不需要特意去学,可等到后期技能拓展或者工作中需要再学。



5. 哪个方向好?


都好,兴趣为王!想做算法相关的学数据挖掘,想做开发写代码的就学数据开发,想接触业务层面的可以学数据分析,更多的可以结合自己之前的专业技能、工作经历及之后想从事的工作内容进行考虑。



6. 需要数学知识吗?


数据开发和一般岗位的数据分析师都不需要什么数学知识,除了数据挖掘和部分数据分析进行建模时需要进行统计等操作才需要数学知识。



7. 需要高学历吗?


入门级别的都不用看学历。看学历指数:数据挖掘 > 数据分析 > 数据开发。数据分析和开发正常本科就够了,数据挖掘大多是本科以上。



8. 薪资高吗?


大环境下,薪资:数据挖掘 > 数据开发 > 数据分析。同一家公司同一级别的岗位,数据开发正常高于普通开发。


具体看城市、公司以及工作年限。



9. 就业前景和市场需求怎么样?


市场需求怎么样,看培训机构的动作就知道了,今年市场上涌起一大批大数据的培训机构。而且随着企业上云,数字化转型,5G时代的到来,对数据会越来越重视。


无论哪个方向的就业前景都是明朗的,大数据的三大方向后期可以进阶纯技术架构,纯业务管理,技术与业务结合的解决方案架构师,也可以三者之间相互转型。


第一批大数据专业的学生现在大三,至少得再过2,3年,学校的课程才会相对完善,并能批量生产。不过科班的学生都知道,是不是科班只有在简历上写的不一样,上课玩的游戏都一样的



10. 数据开发和后台开发的区别?


大数据开发相当于后台开发的升级版,要处理的数据量更多,应付的场景更复杂。


-----end-----

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
JSON Dart 安全
Flutter App混淆加固、保护与优化原理
Flutter App混淆加固、保护与优化原理
240 0
|
Java 关系型数据库 MySQL
ClickHouse(17)ClickHouse集成JDBC表引擎详细解析
ClickHouse通过JDBC桥接器`clickhouse-jdbc-bridge`连接到外部数据库,支持Nullable类型。使用`CREATE TABLE`语句配置JDBC引擎,如`ENGINE = JDBC(datasource_uri, db, table)`。示例展示了如何与MySQL交互,创建本地表并从远程MySQL表中查询和插入数据。此外,ClickHouse还支持JDBC表函数,允许临时查询远程表。相关系列文章在指定链接中提供。
656 7
|
11月前
|
JavaScript 网络架构
Vue中实现分布式动态路由:基础步骤详解
Vue中实现分布式动态路由:基础步骤详解
109 2
|
11月前
|
监控 数据可视化 测试技术
软件测试中的自动化测试实践指南
【10月更文挑战第7天】 在软件开发的生命周期中,测试是确保产品质量的重要环节。随着技术的进步和应用的复杂性增加,自动化测试逐渐成为提升测试效率和覆盖范围的关键手段。本文将深入探讨自动化测试的基本概念、实施步骤及其在不同应用场景中的最佳实践。通过对自动化测试框架的选择、脚本开发、执行及维护的详细解析,帮助读者更好地理解和应用自动化测试技术,从而优化测试流程,提高软件质量。
143 2
|
前端开发 JavaScript
Threejs入门进阶实战案例(3):视频贴图的解决方案
Threejs入门进阶实战案例(3):视频贴图的解决方案
468 0
|
Ubuntu Linux 数据安全/隐私保护
Linux系统使用Docker部署Cloudreve云盘并实现远程访问
Linux系统使用Docker部署Cloudreve云盘并实现远程访问
272 0
|
11月前
|
JavaScript
Vue路由传参实战指南:三种常用方法示例演示
Vue路由传参实战指南:三种常用方法示例演示
531 0
Qt 目录操作(QDir 类)及展示系统文件实战 & QFilelnfo 类介绍和获取文件属性项目实战
Qt 目录操作(QDir 类)及展示系统文件实战 & QFilelnfo 类介绍和获取文件属性项目实战
Qt 目录操作(QDir 类)及展示系统文件实战 & QFilelnfo 类介绍和获取文件属性项目实战
|
SQL 机器学习/深度学习 算法
离线蒸馏奢侈?在线蒸馏难?都不再是问题DKEL统统帮你解决,蒸馏同质化问题也解决!
离线蒸馏奢侈?在线蒸馏难?都不再是问题DKEL统统帮你解决,蒸馏同质化问题也解决!
387 0
|
Java Linux Maven
maven环境变量设置
maven环境变量设置