开发者社区> 问答> 正文

大数据的方向以及各个岗位需要的技术

大数据的方向以及各个岗位需要的技术

展开
收起
1889934504806074 2019-11-06 12:23:43 2154 0
2 条回答
写回答
取消 提交回答
  • 目前从事大数据开发,兼顾平台搭建以及实时数据分析,主要是用scala编写程序,涉及社区开源hadoop集群,emr集群,欢迎有相同兴趣的小伙伴来交流,共同进步。最近在参与flink-java实时开发。

    刚入门的基本就是做大数据开发岗位,分数据开发跟平台开发。数据开发又分离线部分跟实时部分。 1. 离线部分的话主要是做hive数仓,大多数公司要求数仓理论过硬,会建模,sql分析能力要强,要有数据模型的概念,对于一些数据库的原理、操作得精通,sql查询工具也得熟练; 2. 实时的话现在市面上的计算框架很多,选择适合自己业务场景的就行了,比如spark、flink、maxcompute各有各的优势,主要看场景选择,实时这块数据开发的话要求离线部分已经轻车熟路,对开发者的要求比较高。 3. 至于平台开发:需要熟悉linux操作,对新技术有很强的敏感性,有的公司还需要开发者能够根据业务对社区开源框架进行二次开发,对于一些公司的BI部门的平台开发还需要前后端交互的能力,简单来说就是独立开发一个数据可视化产品。 以上仅供参考,每个部分的技术其实很多,只是大致罗列一些,建议选好方向去B站等学习社区观看入门视频或者购买技术书籍进行系统的查缺补漏。技术发展不是一蹴而就的,希望题主在开发的路上收获满满。

    2019-11-06 13:58:24
    赞同 展开评论 打赏
  • PYython。java。算法。数据库。都掌握后找工作很轻松

    2019-11-06 13:36:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载