如何访问TDH中Inceptor 底层的元数据库TxSQL

简介: 如何访问TDH中Inceptor 底层的元数据库TxSQL

1 Inceptor概述

在大数据生态系统中,HIVE是离线数据仓库事实上的标准,绝大多数的大数据分析型系统或数据仓库系统,都是基于HIVE来构建的。

在星环的大数据平台TDH中,在功能上对应开源HIVE的服务是Inceptor,Inceptor底层是基于开源的HIVE和Spark 整合开发而来的,其中:

  • Inceptor Server 对应 HIVE 的查询引擎 HS2;
  • Inceptor Metastore 对应HIVE的元数据引擎 HMS;
  • Inceptor Executor 对应 spark executor;


image.png


2 TxSql概述

  • HIVE的元数据引擎 HMS在底层依赖一个RDBMS元数据库进行元数据的存储查询和管理,该RDBMS常用的有mysql/pg/oracle等,在实践中我们一般使用Mysql;
  • Inceptor 的元数据引擎 Inceptor Metastore 在底层同样依赖一个RDBMS元数据库进行元数据的存储查询和管理,TDH中这个RDBMS使用的是TxSQL:


image.png


查看星环官方文档可知,TxSQL基于开源的PhxSQL项目开发,是一个强一致、高可用的分布式数据库系统,它建立在MySQL基础上,并对其传统的主从复制方案作出了改进,将传统的主从复制机制和Paxos协议结合起来,从而更好的实现了高可用。 PhxSQL官方网址是https://github.com/Tencent/phxsql,查看PhxSQL官方文档可知,PhxSQL is a high-availability and strong-consistency MySQL cluster built on Paxos and Percona,其架构图如下: PhxSQL集群是三层架构,对于集群中的每一个节点,部署3个模块(PhxSQLProxy,MySQL,PhxBinlogSvr):

  • PhxSQLProxy负责请求的透传;
  • 多个节点上的PhxBinlogSvr组成一个可靠的日志存储集群和可靠的Master信息存储集群,PhxBinlogSvr同时承担Agent的责任;
  • Master结点上的PhxSync负责将MySQL的Binlog发送到PhxBinlogSvr;

image.png

查看TxSQL的底层进程,可见其跟PhxSQL的三次架构是一致的:

image.png


3 如何访问TDH中Inceptor 底层的元数据库TxSQL

有时候我们需要对元数据库TxSQL做一些运维操作,比如备份和恢复,此时如何登录进而访问TDH中Inceptor 底层的元数据库TxSQL呢? 大体上来讲,由于TDH中TxSQL是以Docker容器的形式来运行和管理的,我们需要使用 k8s/docker相关命令获取 TxSQL的端口用户名和密码,并通过TxSQL的相关命令获取master 节点地址,然后通过mysql命令登录该master节点进而通过sql查询和操作数据。

3.1 获取 TxSQL的端口,用户名和密码

image.png

3.2 获取 master 节点地址


image.png

注:这里显示的端口好17000,是TxSQL各个节点内部通信用的,通过客户端命令如Mysql等登录TxSQL时不能使用该端口,否则会报错“ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0”,如下图所示:

image.png


3.3 通过mysql命令登录该master节点进而通过sql查询和操作数据

image.png

4 相关命令汇总

kubectl get pods |grep -i txsql
 kubectl exec txsql-server-txsql1-86c458896b-9777m -it bash
 /usr/bin/txsql/tools/txsql.sh list
 grep -i port /etc/txsql1/conf/my.cnf 
 cat /etc/txsql1/conf/db.properties 
 mysql -h 10.20.159.114 -P 13306 -uroot -pxxx
 ss -anp|egrep '3316|13306|17000'
 ps -ef|egrep 5407|5523|5588
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
SQL Oracle 关系型数据库
DDL、DML和DCL的区别与理解
DDL、DML和DCL的区别与理解
2852 1
DDL、DML和DCL的区别与理解
|
数据采集 SQL 分布式计算
常用的数据集成ETL工具有哪些?
六种常用的数据集成ETL工具
常用的数据集成ETL工具有哪些?
|
10月前
|
专有云
山海征程|2025年阿里云专有云年度盘点
专有云的山海征程——2025年阿里云专有云年度盘点
660 0
|
6月前
|
移动开发 人工智能 安全
VMware ESX 9.1 发布 - 云计算操作系统
VMware ESX 9.1 发布 - 云计算操作系统
549 0
VMware ESX 9.1 发布 - 云计算操作系统
|
SQL 存储 分布式计算
Hive学习---5、分区表和分桶表
Hive学习---5、分区表和分桶表
|
10月前
|
人工智能 Linux 异构计算
使用阿里云GPU服务器部署DeepSeek-R1模型图文教程,2026年最新新手AI大模型部署流程
本文介绍2026年最新阿里云GPU服务器部署DeepSeek-R1大模型的全流程,包含创建GPU实例、部署模型及启动Open WebUI三步。涵盖实例配置选择、Docker环境搭建、模型下载与推理服务启动,适合新手快速上手AI大模型部署。
1911 12
|
11月前
|
传感器 运维 算法
数字孪生项目的开发费用
数字孪生项目费用从几十万到数千万不等,核心成本在于三维建模精度与数据打通深度。基础展示型侧重可视化,工业级需系统集成与算法支持,城市级则涉及大规模扫描、仿真与定制引擎开发。建模等级(LOD)、数据获取难度和渲染方式是影响价格三大变量。预算50万内可选轻量化方案,200万以上可实现生产联动与智能决策。#数字孪生 #webgl开发 #软件外包公司
|
机器学习/深度学习 人工智能 前端开发
终端里的 AI 编程助手:OpenCode 使用指南
OpenCode 是开源的终端 AI 编码助手,支持 Claude、GPT-4 等模型,可在命令行完成代码编写、Bug 修复、项目重构。提供原生终端界面和上下文感知能力,适合全栈开发者和终端用户使用。
61906 11
|
存储 数据安全/隐私保护
基于51单片机的6位密码锁设计
【10月更文挑战第11天】多功能电子密码锁系统由AT89C52单片机最小系统、4×4矩阵键盘、LCD1602显示、AT24C02存储模块以及报警系统等组成,具有设置、修改六位用户密码、超次报警、超次锁定、密码错误报警等功能。
719 23
|
XML JSON 数据安全/隐私保护
PyMuPDF,Python处理PDF的宝藏库
PyMuPDF,Python处理PDF的宝藏库
1412 2