大数据真的很难吗?大数据架构师之路有多远?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

大数据真的很难吗?大数据架构师之路有多远?

2018-05-30 18:23:42 2230 2

成为大数据架构师需要掌握哪些技术?分享一下你的大数据架构师之路。

取消 提交回答
全部回答(2)
  • 游客edw4knawaosz6
    2020-06-01 14:52:13

    我手上有几个上市公司急需招聘大数据架构师 java架构师 大家有意愿度跳槽的可以加微信1858134100

    0 0
  • whs0668
    2019-07-17 22:27:44

    作为大数据平台系统级的研发人员, 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。

    通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术,掌握设计开发大数据系统或平台的工具和技能,能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作,如性能改进、功能扩展、故障分析等。

    大数据的难点在于它的生态系统太庞杂,家族血统太混乱,面对一个企业场景有n多的方案说“我行,我不是一般人”。就好比吃顿午餐,既可以端着碗吃,也可以就着锅吃,甚至倒到桌上手抓。每种吃法都能吃饱,但有的吃相很自然、很舒服,有的吃法很别扭,很猥琐。如何温文尔雅、如沐春风这就体现架构师的水平了。

    这里分享一个在国内一线互联网公司实际工作经验,整理提炼的一套侧重培养大数据架构师级别的实战课程,讲重点介绍大数据在一线企业中的使用方案,对于各个组件,除了详细介绍必须掌握的操作要领,更重点介绍不同业务场景下的设计和应用技巧。绝不同于市面上大多数的操作手册朗读者。

    包括如下几个层面:

    1.大数据集成:主要介绍目前很火的ELK框架中的filebeat和logstash,相比较flume更轻量、更容易上手。
    2.大数据传输:主要介绍kafka的原理和使用技巧
    3.大数据落地:主要介绍hive和hbase这两款标准组合的原理和使用,并结合具体的业务场景揭秘高级设计和应用。
    4.大数据使用:主要介绍企业中最有用的sql on hive、sql on hbase的解决方案,如何让hive速度提升十倍,如何让hbase像个rdbms,如何在hive中实现scd2等实际问题。
    5.大数据搜索引擎:主要介绍目前很火的ELK框架中Elasticsearch,并详细演示从常规操作到高阶查询的全实战内容。

    1 0
添加回答
相关问答

3

回答

Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别?【Java问答学堂】19期

剑曼红尘 2020-05-15 11:24:19 34765浏览量 回答数 3

22

回答

关于“云盾web应用防火墙(高级防护)”的通知

安全百晓生 2015-09-16 17:04:50 45677浏览量 回答数 22

1

回答

在使用大数据开发套件时,一个任务流流下的一个shell节点、在如图图形界面下可以找到。但是在列表界面下找不到。,下面只显示一页数据。没有点击下一页按钮。节点找不到。

祁同伟 2017-06-09 15:27:22 36616浏览量 回答数 1

11

回答

新的技术,比如大数据、AI如何应用在航空行业?

诺诺罗亚 2019-06-26 16:15:54 117907浏览量 回答数 11

7

回答

大数据如何应用在航空领域?

游客evqqr7nnmkzcs 2019-06-26 17:58:27 118648浏览量 回答数 7

13

回答

基于大数据的全球电商系统架构性能优化【精品问答集锦】

管理贝贝 2016-07-21 17:20:39 36680浏览量 回答数 13

54

回答

作弊队伍处罚公告

天渡 2014-03-31 20:39:11 60106浏览量 回答数 54

18

回答

MaxCompute百问集锦(持续更新20171011)

隐林 2017-06-30 18:30:36 51466浏览量 回答数 18

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 57613浏览量 回答数 11

13

回答

游戏云精彩帖汇总

nono20011908 2014-08-22 11:00:12 203969浏览量 回答数 13
+关注
调皮仔3683
来自广州的开发仔一枚,从事互联网金融系统和电子商务系统的技术研发
115
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载