开发者学堂课程【大数据Impala教程:安装部署--impala 服务启动、关闭】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/722/detail/12890
安装部署--impala 服务启动、关闭
内容介绍:
一、启动服务进程
二、小结
一、启动服务进程
1.主节点启动
关于 Impala 服务的启动和关闭方式,相比较于其他软件 Impala 并没有提供脚本一键启动。这时候只能手动地分别到集群的每台机器上启动相关的服务进程,前提脑海中要清楚机器哪上面有哪些进程存在,根据规划和部署,在主节点 node-3上会有以下三个服务存在。一个是管理众多 Impala 服务的叫 State Store,另一个同步 hive 元数据的叫 Catalogd ,最后就是 Impalad,启动必须按照顺序来,首先把这两个启动好再启动 Impala 服务。
2.启动过程
具体的启动过程,把命令做一个复制。来到主节点,进行回车。显示启动成功 ok。但是不一定是 ok,也可能启动不成功。
这时候用 jps 验证发现没有进程,说明并不是 java 进程 State Store 这时候可以用 ps-ef 过滤。通过管道查找 Impala 相关的回车。查找到进程叫做 sbin/statestored ,查找之后,再查看进程没有了,说明有问题。
3.排查
要注意 Impala 在默认情况下不管启动什么服务,它的认识都位于路径下默认 var/log/Impala 近距离看一下,假如说启动错了,看不出有什么问题,CD 到路径下叫做 Impala 可以发现有相关的信息,有错误信息,有正确信息以及警告信息,并没有任何的错误信息,说明启动是成功的。
4.继续启动
启动第二个服务叫做 Catalogd 服务。主要用于跟 hive 同步元数据相关,只在第三台机器启动,启动成功之后使用 ps-ef 做一个查询过滤,发现进程也出来了。接下来启动第三个 Impala server 这个服务也需要启动,三台机器都要启动 Impala 服务。因此同时执行。
5.验证
启动完之后做一个验证,验证启动是否正常。使用 ps-ef查询发现有三个进程分别叫做 State Stored,Catalogd 和 Impalad ,同样的把命令复制在第二台机器上,也会有一个进程,同样第一台机器也有,如果出错,排查的依据只有一个,就是到默认的日志路径下看日志信息。启动了三个服务之后,如果是 Impala 服务启动失败 可以看一下 Impalad 错误信息,如果是管理 Impala,可以看一下 State Store,如果是元数据同步有问题。都可以排查出里面有什么信息,保证启动正常。
6.关闭
如果想关闭 Impala 服务,把上面众多 start 改为 stop 就可以了。这时候都启动完之后使用 jps 进行查看,发现又出现两个进程,两个进程名字看不出来,讲到了 Impala 服务前端 Java ,后端 C++。这些服务进程名字不一样使用。最怕变成一个僵尸进程一直停留在这里,当使用 stop 关闭的时候,正常情况下两个进程会随着关闭消失,如果说把整个 Impala 服务都已经 stop 了,发现还有进程存在,会发现进程一直存在。
7.解决技巧
如果进程一直存在,永远不消失,使用 rm-rf 进程就会位于文件路径下,把文件删除即可。正常情况下,进程会随着 Impala 正常关闭,启动后,验证 Impala 服务是否好使。
8.两个页面
提供了两个 web ui 页面
(1)一个是的查看 Impalad 的管理界面,点击查看,看到浏览器打开了机器上面显示 Impalad 相关的模式。现在正处于协调者,因为就在访问 node-3,这里面重点其他信息都是硬件信息,操作系统信息,点击上面 Catalogd 点击可以看到到底能不能读取出来 hive 当中的元数据,比如已经读取成功的,当前在 hive 中有几个数据库,default,itheima,test,下方有很多表,这些到底是不是 hive 中的原数据,有没有跟 hive 成功,打开服务器远程连接到 hive 上报错命令出错。发现在默认的 default 有这几个表,回到页面上 Impala 也识别出这几个表。说明启动成功,能够跟 hive 共用同一个元数据。满足于页面使用。
(2)另外一个 web ui 叫做 statestore 里面没有什么信息,都是一些状态信息,Impala 版本、执行启动时间、应用信息。需要可以查看,用的不多。最后可以通过shell 进程感受 Impala 简单的初体验,因为安装时只在第三台机器安装了 Impala shell,回车相当于连接到第三台机器上,但是其他命令先不说,验证是否好使。
9.敲命令
之前说过的 SQL 语句跟 hive 几乎接融,所以大多数命令都一样,展示当前数据库 show datebases 回车发现显出的数据库。可以查看当前表和查看表的信息。发现编译成执行化树进行执行。相比 hive 会非常快,执行完之后再执行,发现更快,变成0.13秒。变成实时交互,体验程度大大提高,完成了 Impala 驱动和简单的初体验。如果出错,判断的唯一句是看路径下的日志,三台机器都一样。
二、小结
Impala 集群的启动关闭
1.主节点
按照顺序启动三个服务(Impala State Store,Impala Catalogd,Impala server)
2.在从节点
只启动一个服务叫做 Impala server
3.关闭
如果需要关闭 Impala,把上述命令中的 start 改为 stop,这样就可以完成集群的启动关闭。
4.排查
最终需要强调一点,如果出错,通过 ps-ef 或 grep Impala 判断启动的进程是否正常。如果出现错误,日志是解决问题的唯一依据。没有其他的手段。日志路径在 var/log/Impala 下。
这样就完成了整个 Impala 的启动和关闭注意事项。