大数据王者之路 - Ambari 01 简介

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据组件 - Ambari 01 简介是什么?

Ambari是ASF(Apache Software Foundation)中的一个项目,并且是一个顶级项目,致力于让Hadoop集群管理更加简单。它开发了丰富的RESTful APIs,以及一套直观易用的WebUI管理界面。

大数据集群除了我们常见的Hadoop,集群内还有Hive,Hbase,Sqoop,Zookeeper等。因为大数据这个坑里,组件特别的多,一个一个安装配置很麻烦,所以社区孵化了Ambari。就 Ambari的作用来说,就是创建、管理、监视大数据集群,让组件更容易整合进来。


它主要是由Cloudera公司参与贡献开发的(可以查看https://ambari.apache.org/team-list.html)。


功能

它提供了:


provision 必要组件供配(安装)的功能

一步接一步的安装面板进行组件安装

帮助大数据运维工程师管理集群上所有服务的配置,配置是版本化的。

managing 管理集群上的组件

启动

关闭

更新配置

monitoring 监控集群上的组件

提供了一个Dashboard(面板)监控并可用来展示集群监控和集群状态

运用了AMS(Ambari Metrics System)进行监控指标收集

运用了AAF(Ambari Alert Framework)进行系统告警,同时通知运维人员集群状态。

使用

目前主要是Cloudera公司使用了Ambari打包封装提供了一些企业版本的产品,如HDP(Hortonworks Data Platform),CDP(Cloudera Data Platform),CDF(Cloudera DataFlo)。CDF前身为HDF(Hortonworks DataFlow)。


HDP vs HDF

HDP可以简单理解为一个HadoopCluster Platform,就是一个大数据的存储和计算平台,关注在HDFS, Yarn以及一些计算引擎的(比如Spark/Tez)管理。


HDF(DataFlow)这个包含Nifi组件(Nifi是一个数据迁移搬运的流式处理框架),更多关注点在于如何把大量的,多种格式的数据,以高效可控的方式导入到大数据存储层。


所以,我们经常会看HDP + HDF 组合在一起的集成大数据平台。


后续学委会展示一个使用Ambari搭建的集群,可以先关注,第一时间查看后续更新

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
199 0
|
11月前
|
SQL NoSQL Java
Redis学习---大数据技术之Redis(NoSQL简介、Redis简介、Redis安装、五大数据类型、相关配置、持久化)
Redis学习---大数据技术之Redis(NoSQL简介、Redis简介、Redis安装、五大数据类型、相关配置、持久化)
|
1月前
|
存储 分布式计算 数据可视化
大数据概念与术语简介
大数据概念与术语简介
51 2
|
4月前
|
消息中间件 分布式计算 大数据
大数据组件之storm简介
大数据组件之storm简介
85 2
|
4月前
|
监控 大数据 数据处理
大数据组件之Storm简介
【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统,提供容错和高可用的实时计算。核心概念包括Topology(由Spouts和Bolts构成的DAG)、Spouts(数据源)和Bolts(数据处理器)。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理,以及Trident状态管理和高级实践,强调调试、性能优化和数据安全性。
91 4
|
4月前
|
存储 大数据 虚拟化
【云计算与大数据技术】虚拟化简介及虚拟化的分类讲解(图文解释 超详细)
【云计算与大数据技术】虚拟化简介及虚拟化的分类讲解(图文解释 超详细)
473 0
|
4月前
|
存储 分布式计算 Hadoop
大数据存储技术(1)—— Hadoop简介及安装配置
大数据存储技术(1)—— Hadoop简介及安装配置
184 0
|
4月前
|
机器学习/深度学习 搜索推荐 算法
「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)
「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)
64 0
|
4月前
|
分布式计算 并行计算 Hadoop
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
【云计算与大数据计算】分布式处理CPU多核、MPI并行计算、Hadoop、Spark的简介(超详细)
254 0
|
11月前
|
分布式计算 运维 大数据
盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后,Ambari 正式退役!
盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后,Ambari 正式退役!