TiDB亿级数据亚秒响应查询集群部署

简介: TiDB亿级数据亚秒响应查询集群部署

1 集群部署

1.1 环境要求

1.1.1 操作系统建议配置

TiDB 作为一款开源分布式 NewSQL 数据库,可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器环境及主流虚拟化环境,并支持


Linux 操作系统平台 版本
Red Hat Enterprise Linux 7.3 及以上
CentOS 7.3 及以上
Oracle Enterprise Linux 7.3 及以上
Ubuntu LTS 16.04 及以上

1.1.2 服务器建议配置

TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开发,测试,及生产环境的

开发及测试环境

组件 CPU 内存 本地存储 网络 实例数量(最低要求)
TiDB 8 核+ 16 GB+ 无特殊要求 千兆网卡 1(可与 PD 同机器)
PD 4 核+ 8 GB+ SAS, 200 GB+ 千兆网卡 1(可与 TiDB 同机器)
TiKV 8 核+ 32 GB+ SSD, 200 GB+ 千兆网卡 3
TiFlash 32 核+ 64 GB+ SSD, 200 GB+ 千兆网卡 1
TiCDC 8 核+ 16 GB+ SAS, 200 GB+ 千兆网卡 1

生产环境

组件 CPU 内存 硬盘类型 网络 实例数量(最低要求)
TiDB 16 核+ 32 GB+ SAS 万兆网卡(2 块最佳) 2
PD 4核+ 8 GB+ SSD 万兆网卡(2 块最佳) 3
TiKV 16 核+ 32 GB+ SSD 万兆网卡(2 块最佳) 3
TiFlash 48 核+ 128 GB+ 1 or more SSDs 万兆网卡(2 块最佳) 2
TiCDC 16 核+ 64 GB+ SSD 万兆网卡(2 块最佳) 2
监控 8 核+ 16 GB+ SAS 千兆网卡 1

1.2 环境准备

准备一台部署主机,确保其软件满足需求:

  • 推荐安装 CentOS 7.3 及以上版本
  • Linux 操作系统开放外网访问,用于下载 TiDB 及相关软件安装包

最小规模的 TiDB 集群拓扑

实例 个数 IP 配置
TiKV 3 192.168.10.30 避免端口和目录冲突
TiDB 1 192.168.10.30 默认端口 全局目录配置
PD 1 192.168.10.30 默认端口 全局目录配置
TiFlash 1 192.168.10.30 默认端口 全局目录配置
Monitoring & Grafana 1 192.168.10.30 默认端口 全局目录配置

1.3 安装TiUP

1.3.1 什么是TiUP

从 TiDB 4.0 版本开始,TiUP 作为新的工具,承担着包管理器的角色,管理着 TiDB 生态下众多的组件,如 TiDB、PD、TiKV 等。用户想要运

1.3.2 安装TiUP组件

使用普通用户登录中控机,以 tidb 用户为例,后续安装 TiUP 及集群管理操作均通过该用户完成

TiUP 安装过程十分简洁,无论是 Darwin 还是 Linux 操作系统,执行一行命令即可安装成功:

[root@linux30 ~]# curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
  该命令将 TiUP 安装在 `$HOME/.tiup` 文件夹下,之后安装的组件以及组件运行产生的数据也会放在该文件夹下。同时,它还会自动将 `$HOME/.tiup/bin` 加入到 Shell Profile 文件的 PATH 环境变量中,这样你就可以直接使用 TiUP 了。

1.3.3 配置TiUP环境

重新声明全局环境变量

[root@linux30 tidb]# source /root/.bash_profile

1.3.4 检查TiUP 工具是否安装

[root@linux30 tidb]# which tiup
/root/.tiup/bin/tiup

1.3.5 安装 cluster 组件

[root@linux30 tidb]# tiup cluster

1.3.6 升级cluster组件

如果机器已经安装 TiUP cluster,需要更新软件版本

[root@linux30 tidb]# tiup update --self && tiup update cluster

预期输出 “Update successfully!” 字样。

1.4 编辑部署文件

请根据不同的集群拓扑,编辑 TiUP 所需的集群初始化配置文件。

1.4.1 常见的部署场景

最小拓扑架构

最基本的集群拓扑,包括 tidb-server、tikv-server、pd-server,适合 OLTP 业务。

增加 TiFlash 拓扑架构

包含最小拓扑的基础上,同时部署 TiFlash。TiFlash 是列式的存储引擎,已经逐步成为集群拓扑的标配。适合 Real-Time HTAP 业务。

增加 TiCDC 拓扑架构

包含最小拓扑的基础上,同时部署 TiCDC。TiCDC 是 4.0 版本开始支持的 TiDB 增量数据同步工具,支持多种下游 (TiDB/MySQL/MQ)。相比于

增加 TiDB Binlog 拓扑架构

包含最小拓扑的基础上,同时部署 TiDB Binlog。TiDB Binlog 是目前广泛使用的增量同步组件,可提供准实时备份和同步功能。

增加 TiSpark 拓扑架构

包含最小拓扑的基础上,同时部署 TiSpark 组件。TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。TiUP cluster 组件对

混合部署拓扑架构

适用于单台机器,混合部署多个实例的情况,也包括单机多实例,需要额外增加目录、端口、资源配比、label 等配置。

1.4.2 单机极简部署

部署主机软件和环境要求:

  • 部署需要使用部署主机的 root 用户及密码
  • 部署主机关闭防火墙或者开放 TiDB 集群的节点间所需端口

单机极简拓扑

实例 IP 开放端口
grafana 192.168.10.30 3000
pd 192.168.10.30 2379/2380
prometheus 192.168.10.30 9090
tidb 192.168.10.30 4000/10080
tiflash 192.168.10.30 9000/8123/3930/20170/20292/8234
tikv 192.168.10.30 20160/20180
tikv 192.168.10.30 20161/20181
tikv 192.168.10.30 20162/20182

编辑配置文件

按下面的配置模板,编辑配置文件,命名为 topo.yaml

  • user: "tidb":表示通过 tidb 系统用户(部署会自动创建)来做集群的内部管理,默认使用 22 端口通过 ssh 登录目标机器
  • replication.enable-placement-rules:设置这个 PD 参数来确保 TiFlash 正常运行
  • host:设置为本部署主机的 IP
# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
 user: "tidb"
 ssh_port: 22
 deploy_dir: "/opt/tidb/tidb-deploy"
 data_dir: "/opt/tidb/tidb-data"
# # Monitored variables are applied to all the machines.
monitored:
 node_exporter_port: 9100
 blackbox_exporter_port: 9115
server_configs:
 tidb:
   log.slow-threshold: 300
 tikv:
   readpool.storage.use-unified-pool: false
   readpool.coprocessor.use-unified-pool: true
 pd:
   replication.enable-placement-rules: true
   replication.location-labels: ["host"]
 tiflash:
   logger.level: "info"
pd_servers:
 - host: 192.168.10.30
tidb_servers:
 - host: 192.168.10.30
tikv_servers:
 - host: 192.168.10.30
   port: 20160
   status_port: 20180
   config:
     server.labels: { host: "logic-host-1" }
 - host: 192.168.10.30
   port: 20161
   status_port: 20181
   config:
     server.labels: { host: "logic-host-2" }
 - host: 192.168.10.30
   port: 20162
   status_port: 20182
   config:
     server.labels: { host: "logic-host-3" }
tiflash_servers:
 - host: 192.168.10.30
monitoring_servers:
 - host: 192.168.10.30
grafana_servers:
 - host: 192.168.10.30

1.5 执行集群部署命令

1.5.1 命令格式

tiup cluster deploy <cluster-name> <tidb-version> ./topo.yaml --user root -p

参数解释

  • 参数 <cluster-name> 表示设置集群名称
  • 参数 <tidb-version> 表示设置集群版本,可以通过 tiup list tidb 命令来查看当前支持部署的 TiDB 版本
  • 参数:--use.r root通过 root 用户登录到目标主机完成集群部署,该用户需要有 ssh 到目标机器的权限,并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。

1.5.2 检查TiDB最新版本

可以通过执行 tiup list tidb 来查看 TiUP 支持的版本

[root@linux30 tidb]# tiup list tidb

经过执行发现 可用的TiDB版本有 v5.3.0

1.5.3 执行部署命令

[root@linux30 tidb]# tiup cluster deploy tidb-cluster 5.3.0 ./topo.yaml --user root -p

下面输入y继续后输入密码进行安装界面

进入安装界面,等待安装即可

如果出现deployed successfully表示部署成功,集群名称是tidb-cluster

1.5.4 启动集群

[root@linux30 tidb]# tiup cluster start tidb-cluster

1.5.5 查看节点状态

[root@linux30 tidb]# tiup cluster display tidb-cluster

所有节点都是Up状态说明都已经启动就绪了

2. 测试TiDB集群

2.1 Mysql连接集群

TiDB的连接端口默认是4000, 密码是空,可用使用Mysql客户端以及第三方工具进行连接

2.1.1 安装MySql客户端

yum -y install mysql

MySql客户端连接

访问 TiDB 数据库,密码为空

[root@linux30 tidb]# mysql -uroot -p -P 4000 -h 192.168.10.30

2.1.2 第三方客户端访问Mysql

使用SQLyog访问TiDB

2.1.2.1 创建TiDB连接

连接后就可以操作数据库了

2.2 访问Grafana监控

通过 http://192.168.10.30:3000 访问集群 Grafana 监控页面,默认用户名和密码均为 admin。

2.3 访问Dashboard

通过 http://192.168.10.30:2379/dashboard 访问集群 TiDB Dashboard监控页面,默认用户名为 root,密码为空。

2.4 查看集群列表

[root@linux30 tidb]# tiup cluster list

2.5 查看集群拓扑

[root@linux30 tidb]# tiup cluster display tidb-cluster

目录
相关文章
|
SQL 关系型数据库 MySQL
TiDB安装简介
TiDB安装简介
3236 0
|
人工智能 自然语言处理 搜索推荐
大模型应用产品「归一妙计」亮相,AI Agent落地广告投放场景
在通用L0级语言模型基础之上,结合领域知识训练出适配各应用场景的专属模型,将成为企业经营的“智慧大脑”。 在广告投放这一企业核心的营销场景中,「营销领域大模型」已成为引领行业变革的关键力量,它将重塑数字营销的内容生产方式、投放工作流、消费模式等等,进一步推动营销生态的发展和进化,让广告主的营销内容更丰富、投放更高效、转化更直观。 近期,归一智能正式发布了AI Agent应用产品「归一妙计」,这是一款基于「利欧归一」营销领域大模型,训练出的适配各媒体平台投放工作流的SEMGPT专属模型,能够为企业提供更加智能、精准和高效的AI广告投手服务。
1914 0
大模型应用产品「归一妙计」亮相,AI Agent落地广告投放场景
|
负载均衡 应用服务中间件 Linux
Nginx系列教程(14) - LVS+KeepAlived+Nginx实现高性能负载均衡集群
Nginx系列教程(14) - LVS+KeepAlived+Nginx实现高性能负载均衡集群
4651 0
|
4月前
|
存储 人工智能 运维
最新版阿里云无影云电脑服务平台功能介绍
随着远程办公普及、AI算力需求爆发、企业数字化办公升级,传统本地电脑的短板愈发凸显:硬件更新成本高、设备性能固定无法扩容、数据本地存储易丢失泄露、多设备数据无法同步、批量运维管理繁琐复杂、高性能算力场景硬件门槛极高。无论是个人日常办公、开发者项目部署、设计渲染作业,还是企业规模化团队办公、AI智能体集群运行、远程协同作业,传统本地PC已经难以适配轻量化、弹性化、智能化的现代办公模式。
752 0
|
关系型数据库 分布式数据库 数据库
一库多能:阿里云PolarDB三大引擎、四种输出形态,覆盖企业数据库全场景
PolarDB是阿里云自研的新一代云原生数据库,提供极致弹性、高性能和海量存储。它包含三个版本:PolarDB-M(兼容MySQL)、PolarDB-PG(兼容PostgreSQL及Oracle语法)和PolarDB-X(分布式数据库)。支持公有云、专有云、DBStack及轻量版等多种形态,满足不同场景需求。2021年,PolarDB-PG与PolarDB-X开源,内核与商业版一致,推动国产数据库生态发展,同时兼容主流国产操作系统与芯片,获得权威安全认证。
|
人工智能 自然语言处理 数据库
基于RAG和LLM的水利知识问答系统研究
随着全球水资源紧张加剧,我国面临严峻的水资源管理挑战。《十四五规划》提出构建智慧水利体系,通过科技手段提升水情测报和智能调度能力。基于大语言模型(LLM)的水利智能问答系统,利用自然语言处理技术,提供高效、准确的水利信息查询和决策支持,助力水资源管理智能化。该系统通过RAG技术和Agent功能,实现了对水利知识的深度理解和精准回答,适用于水利知识科普、水务治理建议及灾害应急决策等多个场景,推动了水利行业的信息化和智能化发展。
|
人工智能 运维 自然语言处理
智能化运维:AI在IT运维领域的深度应用与实践####
本文探讨了人工智能(AI)技术在IT运维领域的深度融合与实践应用,通过分析AI驱动的自动化监控、故障预测与诊断、容量规划及智能决策支持等关键方面,揭示了AI如何赋能IT运维,提升效率、降低成本并增强系统稳定性。文章旨在为读者提供一个关于AI在现代IT运维中应用的全面视角,展示其实际价值与未来发展趋势。 ####
2626 31
|
数据采集 机器学习/深度学习 前端开发
反爬虫措施
【8月更文挑战第12天】
2304 3
|
测试技术 语音技术 Android开发
起飞,纯本地实时语音转文字!
起飞,纯本地实时语音转文字!
1395 3
|
机器学习/深度学习 人工智能 算法
AI技术引领视频去水印新时代
随着数字媒体的飞速发展,视频已成为我们获取信息、娱乐休闲的主要方式。然而,视频中的水印往往影响了观看体验,甚至阻碍了内容的传播。幸运的是,在人工智能(AI)技术的引领下,我们迎来了视频去水印的新时代。
975 1