开发者学堂课程【Hue 大数据可视化终端课程:Hue--介绍、功能、架构】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/719/detail/12847
Hue--介绍、功能、架构
内容介绍:
一、Hue 介绍
二、Hue 功能
三、Hue 架构
四、小结
一、Hue 介绍
Hue 本身是英文的缩写,叫做 Hadoop User Experience。中文叫做 Hadoop 用户体验。
在介绍 Hue 之前,回想当下大数据生态圈的发展。随着近些年不断的技术迭代,生态圈的软件越来越多,有的做存储,有的做分析,有的做计算,还有调度数据导入导出的。软件变多,从开发层面是技术上的好事。但是给开发者的体验却不好,比如说要去访问 ip l数据时,可能需要打开 AELS 的 web 页面,50070端口,那么要去访问 Young,可能需要打开8088。
每一个软件都有自己的 web UR 页面,那么如果进行大数据项目的开发整合很多软件时,标签就得打开好多个。那么如果再加上传统的数据库的浏览访问,可能还要去打开 small Cat、MySQL 软件。开发者就不得不在各个不同软件的UR 页面之间进行来回的切换,这种体验非常不友好。
此时希望能有一个软件可以做集中化的管理。比如说通过这一个软件,可以分别去访问操作各个不同的软件,既可以去操作数据,又可以浏览数据库、运行 spark 程序等等,还可以执行其它操作。这样的软件带给用户的体验,将会是非常友好的。可以通过一个软件解决整个大数据生态圈的浏览方式。
恰好有这样的功能。Hu e是一个集成化的可视化页面,通过它可以去访问各个大数据,几乎覆盖主流生态圈的不同软件,相当于各个软件开放了一个接口。通过 Hue 可以去分别访问它,这样用户体验就变得非常友好。
Hue 软件来自于 Cloudera 商业公司,由 Cloudera Desktop 演化而来,最后 Cloudera公 司将其贡献给 Apache 基金会的 Hadoop 社区,它是基于 Python Web 框架 Django 实现的。
通过它就可以集成化大数据现在几乎主流的软件。如下图 logo ,上面标有查询浏览、重复。
这几个单词淋漓尽致的概括出一些功能:可以查询、浏览访问数据,可以去重复类似于任务周期调度相关的任务。
二、Hue 功能
当下,Hue 软件集成时,几乎大数据生态圈的核心主流软件都可以兼容。比如说数据存储的 HDFS,可以兼容;数据计算的程序可以兼容,再比如数据交互式查询的 impala,数据导入导出的软件,还有任务调度监控软件等等。
这些软件几乎是当下大数据的主流软件,Hue 都进行了整合,使得简单的配置就可以使用。打开 Hue,可以通过不同的按钮、不同的入口去操作不同的软件,相当于集中化的操作。
如果一般人去设计这个软件时,首先考虑既然是外部页面 web 项目,需要一个启动服务使用户访问,比如叫 Hue server。用户可能通过浏览器去访问 Hue 服务器。
那么用户层的怎么去浏览其它软件呢?Hue 底层需要去实现某种方式的访问。比如说通过 web 式访问 hadoop 集群,甚至通过 GDPC 协议等等。那么各个软件几乎都有通过浏览器或者其它方式访问的途径。因此在底层 Hue 相当于做了一个整合。整合完成之后,就可以在这一个软件上浏览各个不同软件。
三、Hue 架构
Hue 把各个软件集成后,通过一个页面就可以浏览查询所有的框架。
UI 是用户浏览访问的浏览器途径,那么用户访问的其实是 Hue 的服务器。那么 Hue 需要保存一些相关的数据,这些数据存储在 Hue DB 数据库当中,也可以是 mysql,等等。重点在于 Hue 服务通过各个接口、各种方式去集成各个软件。比如有 Ooize工作流调度、Beeswax 服务,还有 HDFS 文件浏览等等软件。而且提供的集成化软件比生态圈提供的软件的更加的友好、美观,可用。举一个例子,针对 HDLS文 件浏览,在原生的过程当中只能够去浏览下载,并不能进行上传创建或者去在线编辑。但是 Hue 开放的接口,可以去浏览,还可以在线编辑文件、修改数据,非常接近于传统的用户体验。
因为 HDLS 数据是不支持修改的,但是可以通过 Hue 某种方式来集成。所以说它的页面比原生的更加的友好。
但是集成毕竟不如原生的完美,比如说在使用某软件当中出错或者需要具体调试、优化,还需要结合原生的进行。
因此 Hue 出现之后,并不是彻底告别了原来多个软件的外部 UR 页面,两者互相配合能给带来更好的用户体验,这也是 Hue 软件出现的初衷。
Hue 的官方域名叫做 get hue .com,上面介绍 Hue 是开源的数据库,一个工作台。上面三个单词非常重要,概括了它的核心工作:查询的数据,浏览的文件,重复执行的任务。
比如说去查询 Impala 的时候,可以打开 Impala 窗口。要查询 MySQL ,打开 MySQL 的窗口,还有其它功能的体验。
这就是 hue,一款可视化的集成大数据平台软件。
四、小结
Hue 是一个集成化的大数据可视化的软件,可以通过 Hue 访问、浏览、操作主流的大数据生态圈软件。
Hue 来自于 cloudera,后来贡献给A pache。Apache 是全球最大的一个软件基金会,交给它之后就变成顶级的孵化项目。根据它的协议全球的开发者都可以使用它。所以说贡献给 Apache 也意味着它可以免费商用。但是 cloudera也 在维护,而且维护的比开源的更加的好。
Hue 本身是一个外部项目,基于 python 实现。通过该 web 项目的 UI 继承集成了各个软件的UI。