安装部署--impala 服务启动、关闭 | 学习笔记

简介: 快速学习 安装部署--impala 服务启动、关闭

开发者学堂课程【大数据Impala教程安装部署--impala 服务启动、关闭学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/722/detail/12890


安装部署--impala 服务启动、关闭


内容介绍:

一、启动服务进程

二、小结


一、启动服务进程

1.主节点启动

关于 Impala 服务的启动和关闭方式,相比较于其他软件 Impala 并没有提供脚本一键启动。这时候只能手动地分别到集群的每台机器上启动相关的服务进程,前提脑海中要清楚机器哪上面有哪些进程存在,根据规划和部署,在主节点 node-3上会有以下三个服务存在。一个是管理众多 Impala 服务的叫 State Store,另一个同步 hive 元数据的叫 Catalogd ,最后就是 Impalad,启动必须按照顺序来,首先把这两个启动好再启动 Impala 服务。

2.启动过程

具体的启动过程,把命令做一个复制。来到主节点,进行回车。显示启动成功 ok。但是不一定是 ok,也可能启动不成功。

image.png

这时候用 jps 验证发现没有进程,说明并不是 java 进程 State Store 这时候可以用 ps-ef 过滤。通过管道查找 Impala 相关的回车。查找到进程叫做 sbin/statestored ,查找之后,再查看进程没有了,说明有问题。

image.png

3.排查

要注意 Impala 在默认情况下不管启动什么服务,它的认识都位于路径下默认 var/log/Impala 近距离看一下,假如说启动错了,看不出有什么问题,CD 到路径下叫做 Impala 可以发现有相关的信息,有错误信息,有正确信息以及警告信息,并没有任何的错误信息,说明启动是成功的。

image.png

4.继续启动

启动第二个服务叫做 Catalogd 服务。主要用于跟 hive 同步元数据相关,只在第三台机器启动,启动成功之后使用 ps-ef 做一个查询过滤,发现进程也出来了。接下来启动第三个 Impala server 这个服务也需要启动,三台机器都要启动 Impala 服务。因此同时执行。

5.验证

启动完之后做一个验证,验证启动是否正常。使用 ps-ef查询发现有三个进程分别叫做 State StoredCatalogd Impalad ,同样的把命令复制在第二台机器上,也会有一个进程,同样第一台机器也有,如果出错,排查的依据只有一个,就是到默认的日志路径下看日志信息。启动了三个服务之后,如果是 Impala 服务启动失败 可以看一下 Impalad 错误信息,如果是管理 Impala,可以看一下 State Store,如果是元数据同步有问题。都可以排查出里面有什么信息,保证启动正常。

6.关闭

如果想关闭 Impala 服务,把上面众多 start 改为 stop 就可以了。这时候都启动完之后使用 jps 进行查看,发现又出现两个进程,两个进程名字看不出来,讲到了 Impala 服务前端 Java ,后端 C++。这些服务进程名字不一样使用。最怕变成一个僵尸进程一直停留在这里,当使用 stop 关闭的时候,正常情况下两个进程会随着关闭消失,如果说把整个 Impala 服务都已经 stop 了,发现还有进程存在,会发现进程一直存在。

image.png

7.解决技巧

如果进程一直存在,永远不消失,使用 rm-rf 进程就会位于文件路径下,把文件删除即可。正常情况下,进程会随着 Impala 正常关闭,启动后,验证 Impala 服务是否好使。

8.两个页面

提供了两个 web ui 页面

(1)一个是的查看 Impalad 的管理界面,点击查看,看到浏览器打开了机器上面显示 Impalad 相关的模式。现在正处于协调者,因为就在访问 node-3,这里面重点其他信息都是硬件信息,操作系统信息,点击上面 Catalogd 点击可以看到到底能不能读取出来 hive 当中的元数据,比如已经读取成功的,当前在 hive 中有几个数据库,defaultitheimatest,下方有很多表,这些到底是不是 hive 中的原数据,有没有跟 hive 成功,打开服务器远程连接到 hive 上报错命令出错。发现在默认的 default 有这几个表,回到页面上 Impala 也识别出这几个表。说明启动成功,能够跟 hive 共用同一个元数据。满足于页面使用。

(2)另外一个 web ui 叫做 statestore 里面没有什么信息,都是一些状态信息,Impala 版本、执行启动时间、应用信息。需要可以查看,用的不多。最后可以通过shell 进程感受 Impala 简单的初体验,因为安装时只在第三台机器安装了 Impala shell,回车相当于连接到第三台机器上,但是其他命令先不说,验证是否好使。

9.敲命令

之前说过的 SQL 语句跟 hive 几乎接融,所以大多数命令都一样,展示当前数据库 show datebases 回车发现显出的数据库。可以查看当前表和查看表的信息。发现编译成执行化树进行执行。相比 hive 会非常快,执行完之后再执行,发现更快,变成0.13秒。变成实时交互,体验程度大大提高,完成了 Impala 驱动和简单的初体验。如果出错,判断的唯一句是看路径下的日志,三台机器都一样。

image.png


二、小结

Impala 集群的启动关闭

1.主节点

按照顺序启动三个服务(Impala State StoreImpala CatalogdImpala server)

2.在从节点

只启动一个服务叫做 Impala server

3.关闭

如果需要关闭 Impala,把上述命令中的 start 改为 stop,这样就可以完成集群的启动关闭。

4.排查

最终需要强调一点,如果出错,通过 ps-ef grep Impala 判断启动的进程是否正常。如果出现错误,日志是解决问题的唯一依据。没有其他的手段。日志路径在 var/log/Impala 下。

这样就完成了整个 Impala 的启动和关闭注意事项。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
SQL 分布式计算 Hadoop
Hive使用Impala组件查询(1)
Hive使用Impala组件查询(1)
1043 0
|
Oracle Java Unix
Java/JDK下载、安装与环境变量配置超详细教程(2022更新)保姆级,秒会
Java/JDK下载、安装与环境配置超详细教程(2022更新)保姆级,小白秒会[学习必备,建议收藏]。包含JDK8、JDK11、JDK17、JDK19等,本文将从JDK的下载与安装讲起,在从配置到第一个HelloWrold实践结束。在观看本文前我们需要知道JDK是什么,有什么作用?JDK是Java的开发工具包,包括JVM虚拟机,核心类库,开发工具。
27706 0
Java/JDK下载、安装与环境变量配置超详细教程(2022更新)保姆级,秒会
|
Web App开发 SQL 资源调度
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
|
存储 分布式计算 Hadoop
impala入门(一篇就够了)
impala入门(一篇就够了)
757 0
|
存储 缓存 数据挖掘
StarRocks 原理详解:探索高效 OLAP 的奥秘
StarRocks 是一款高性能分析型数据仓库,采用向量化、MPP架构、CBO等技术,实现多维、实时、高并发的数据分析。它支持从各类数据源高效导入数据,兼容MySQL协议,并具备水平扩展、高可用等特性,广泛应用于实时数仓、OLAP报表等场景。StarRocks 解决了传统数仓在查询性能、数据导入、扩展性和灵活性等方面的挑战,助力企业实现数据驱动的决策。其分布式架构和智能物化视图等功能显著提升了查询效率,适用于大数据生态中的各种复杂需求。
2513 15
|
人工智能 测试技术 API
Ollama本地模型部署+API接口调试超详细指南
本文介绍了如何使用Ollama工具下载并部署AI大模型(如DeepSeek-R1、Llama 3.2等)。首先,访问Ollama的官方GitHub页面下载适合系统的版本并安装。接着,在终端输入`ollama`命令验证安装是否成功。然后,通过命令如`ollama run Llama3.2`下载所需的AI模型。下载完成后,可以在控制台与AI模型进行对话,或通过快捷键`control+d`结束会话。为了更方便地与AI互动,可以安装GUI或Web界面。此外,Ollama还提供了API接口,默认支持API调用,用户可以通过Apifox等工具调试这些API。
|
应用服务中间件 nginx Docker
Docker:WARNING: Published ports are discarded when using host network mode 解决方法
Docker在使用 `host`网络模式时会忽略端口映射,因为此模式下容器已经直接暴露在主机网络上。通过理解并合理选择网络模式,可以有效解决 `WARNING: Published ports are discarded when using host network mode`的警告。根据具体需求,选择适合的网络模式,以便在保证性能的同时确保灵活性和安全性。希望本文提供的方法和分析能帮助您在使用Docker时更好地处理网络配置问题。
2907 12
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
存储 SQL 分布式计算
impala入门(一篇就够了)
impala入门(一篇就够了)
2781 0
impala入门(一篇就够了)
|
SQL 分布式计算 关系型数据库
Sqoop入门(一篇就够了)
Sqoop入门(一篇就够了)
8919 3
Sqoop入门(一篇就够了)

热门文章

最新文章

下一篇
开通oss服务