proxysql安装部署

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: proxysql,读写分离

环境:centos 7.4+proxysql 1.4
主:172.17.69.118
从:172.17.69.119

1. 安装好mysq主从

从库的配置文件中要加入read_only=1,不然在启动之后查询mysql_servers表会出现从库也会被自动加入写入的组中。proxysql区别主从的唯一方式就是read_only状态值。

2. 安装proxy软件

[root@slave1 ~]# rpm -ivh proxysql-1.4.3-1.1.el7.x86_64.rpm
[root@slave1 ~]# service proxysql start

3. proxysql中配置主从信息

[root@slave1 ~]# mysql -uadmin -padmin -h127.0.0.1 -P6032 
> use admin
>insert into mysql_servers(hostgroup_id,hostname,port,weight,max_connections,max_replication_lag,comment) values(100,'172.17.69.118',3306,1,1000,10,'test');
>insert into mysql_servers(hostgroup_id,hostname,port,weight,max_connections,max_replication_lag,comment) values(101,'172.17.69.118',3306,1,1000,10,'test');
>insert into mysql_servers(hostgroup_id,hostname,port,weight,max_connections,max_replication_lag,comment) values(101,'172.17.69.119',3306,9,1000,10,'test');
>insert into mysql_replication_hostgroups values(100,101,'masterha') ;        #添加读写映射
>load mysql servers to runtime;                #将主从信息保存到配置,立即生效
>save mysql servers to disk;                        
 mysql> select * from mysql_servers;
+--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+
| hostgroup_id | hostname      | port | status | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment |
+--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+
| 100          | 172.17.69.118 | 3306 | ONLINE | 1      | 0           | 1000            | 10                  | 0       | 0              | test    |
| 100          | 172.17.69.119 | 3306 | ONLINE | 1      | 0           | 1000            | 10                  | 0       | 0              | test    |
| 101          | 172.17.69.119 | 3306 | ONLINE | 1      | 0           | 1000            | 10                  | 0       | 0              | test    |
+--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+

4. 在proxysql中配置监控账号和程序登录账号:

[root@slave1 ~]# mysql -uadmin -padmin -h127.0.0.1 -P6032
> set mysql-monitor_username='replyuser';                ##健康监测账号
> set mysql-monitor_password='replypass';
> load mysql variables to runtime;
> save mysql variables to disk;
> insert into mysql_users(username,password,active,default_hostgroup,transaction_persistent) values('root','123456',1,100,1);
>load mysql users to runtime;
>save mysql users to disk;
mysql> select * from mysql_users\G
*************************** 1. row ***************************
             username: user0            #后端mysql实例的用户名
             password: password0    #后端mysql实例的密码
               active: 1            #active=1表示用户生效,0表示不生效
              use_ssl: 0    
    default_hostgroup: 100    #用户默认登录到哪个hostgroup_id下的实例
       default_schema: NULL    #用户默认登录后端mysql实例时连接的数据库,这个地方为NULL的话,则由全局变量mysql-default_schema决定,默认是information_schema
        schema_locked: 0    
transaction_persistent: 1    #如果设置为1,连接上ProxySQL的会话后,如果在一个hostgroup上开启了事务,那么后续的sql都继续维持在这个hostgroup上,不伦是否会匹配上其它路由规则,直到事务结束。虽然默认是0
         fast_forward: 0            #忽略查询重写/缓存层,直接把这个用户的请求透传到后端DB。相当于只用它的连接池功能,一般不用,路由规则 .* 就行了
              backend: 1
             frontend: 1
      max_connections: 10000  #该用户允许的最大连接数
1 rows in set (0.00 sec)

其他变量可以自行调整:
>set mysql-default_charset = 'utf8mb4';
>set mysql-query_retries_on_failure=0;
>set mysql-eventslog_filename='queries.log';
>set mysql-ping_timeout_server=1500;
>set mysql-monitor_connect_timeout=1000;
修改完了之后要加载配置:
>load mysql servers to runtime;
>load mysql users to runtime;
>load mysql variables to runtime;
>save mysql servers to disk;
>save mysql users to disk;
>save mysql variables to disk;

5. 在proxysql中配置路由规则实现读写分离

[root@slave1 ~]# mysql -uadmin -padmin -h127.0.0.1 -P6032
>INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^SELECT.*FOR UPDATE$',100,1);                #除select * from tb for update的select全部发送到slave,其他的的语句发送到master。
>INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^SELECT',101,1);
>LOAD MYSQL QUERY RULES TO RUNTIME;
>SAVE MYSQL QUERY RULES TO DISK;
mysql> select * from mysql_query_rules\G;
*************************** 1. row ***************************
             rule_id: 1                ##表主键,自增。规则处理是以 rule_id 的顺序进行
              active: 1                ##active表示是否启用这个sql路由项,1表示启用。
            username: NULL        #如果非 NULL,只有连接用户是 username 的值才会匹配
          schemaname: NULL         #如果非 NULL,只有查询连接使用的db是 schemaname 的值才会匹配。注意如果是 NULL,不代表连接没有使用schema,而是无论任何schema都进一步匹配
              flagIN: 0                
         client_addr: NULL        #匹配客户端来源IP
          proxy_addr: NULL        #匹配本地proxysql的IP
          proxy_port: NULL                #匹配本地proxysql的Port
              digest: NULL                        #精确的匹配一类查询
        match_digest: NULL                #正则匹配一类查询。query digest 是指对查询去掉具体值后进行"模糊化"后的查询
       match_pattern: ^SELECT.*FOR UPDATE$                #正则表达式匹配查询
negate_match_pattern: 0                ##反向匹配,相当于对 match_digest/
        re_modifiers: CASELESS                
             flagOUT: NULL
     replace_pattern: NULL                 #查询重写,默认为空,不rewrite
destination_hostgroup: 100                 #路由查询到这个 hostgroup。当然如果用户显式start transaction 且transaction_persistent=1,那么即使匹配到了,也依然按照事务里第一条sql的路由规则去走
           cache_ttl: NULL                #查询结果缓存的毫秒数。proxysql这个 Query Cache 与 MySQL 自带的query cache不是同一个。proxysql query cache也不会关心后端数据是否被修改,它所做的就是针对某些特定种类的查询结果进行缓存,比如一些历史数据的count结果。一般不设
           reconnect: NULL
             timeout: NULL                 #这一类查询执行的最大时间(毫秒),超时则自动kill。这是对后端DB的保护机制,默认mysql-default_query_timeout给的是10h
             retries: NULL                        #语句在执行时失败时,重试次数。默认由 mysql-query_retries_on_failure变量指定,默认为1
               delay: NULL                        #查询延迟执行,这是ProxySQL提供的限流机制,会让其它的查询优先执行
   next_query_flagIN: NULL
      mirror_flagOUT: NULL
    mirror_hostgroup: NULL
           error_msg: NULL                #默认为NULL,如果指定了则这个查询直接被 阻塞掉,马上返回这个错误信息。
              OK_msg: NULL
         sticky_conn: NULL
           multiplex: NULL                #连接是否复用
                 log: NULL                        #是否记录查询日志
               apply: 1
1 rows in set (0.00 sec)

6. 读写分离验证:

[root@slave1 ~]# mysql -uroot -p123456 -h127.0.0.1 -P6033                        #这里已经不是-uadmin,-padmin了
> insert into test.aa values(1);
> select * from test.aa;
>select * from stats_mysql_query_digest;              ######查看分发到哪个服务器
>select * from monitor.mysql_server_ping_log;           ####查看服务器是否连接正常

7. 相关表

stats_mysql_processlist:类似MySQL的show processlist的命令,查看各线程的状态。
stats_mysql_commands_counters #统计各种SQL类型的执行次数和时间

stats_mysql_connection_pool #连接后端MySQL的连接信息
hostgroup:后端服务器所属的主机组。请注意,单个后端服务器可以属于多个主机组。
srv_host,srv_port:mysqld后端服务器正在侦听连接的TCP端点的IP和Port。
status:后端服务器的状态。可以有ONLINE,SHUNNED,OFFLINE_SOFT,OFFLINE_HARD。有关每个状态意味着什么的详细信息,请参阅上面的mysql_servers表的描述。
ConnUsed:ProxySQL当前使用多少个连接来向后端服务器发送查询。
ConnFree:目前有多少个连接是空闲。
ConnOK:成功建立了多少个连接。
ConnERR:没有成功建立多少个连接。
Queries:路由到此特定后端服务器的查询数。
Bytes_data_sent:发送到后端的数据量。
Bytes_data_recv:从后端接收的数据量。
Latency_ms:从Monitor报告的当前ping以毫秒为单位的延迟时间。

stats_mysql_global: #代表与MySQL相关的代理级别的全局统计,如:
Client_Connections_aborted:由于无效凭据或max_connections而导致的前端连接数已达到。
Client_Connections_connected - 当前连接的前端连接数。
Client_Connections_created - 到目前为止创建的前端连接数。
Questions :从前端发送的查询总数。
Slow_queries:在全局变量中定义的运行时间超过阈值的毫秒数的查询数mysql-long_query_time
stats_mysql_query_digest:表示SQL的执行次数、时间消耗等。通过变量mysql-query_digests控制开关,默认是开。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
JSON NoSQL Redis
redis-full-check校验工具
redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具,通常用于redis数据迁移后正确性的校验。
25653 0
|
Windows
Windows下CMD中文乱码问题解决方法,设置代码页65001后仍然乱码
原文地址: http://blog.csdn.net/u011250882/article/details/48136883 在中文Windows系统中,如果一个文本文件是UTF-8编码的,那么在CMD.exe命令行窗口(所谓的DOS窗口)中不能正确显示文件中的内容。在默认情况下,命令行窗口中使用的代码页是中文或者美国的,即编码是中文字符集或者西文字符集。  如果想正确显示UTF-8
13460 0
|
机器学习/深度学习 PyTorch TensorFlow
Pytorch学习笔记(二):nn.Conv2d()函数详解
这篇文章是关于PyTorch中nn.Conv2d函数的详解,包括其函数语法、参数解释、具体代码示例以及与其他维度卷积函数的区别。
2766 0
Pytorch学习笔记(二):nn.Conv2d()函数详解
|
8月前
|
存储 运维 监控
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享,围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化,以及基于Paimon的湖仓方案优势。通过分层设计与技术优化,实现业务交付周期缩短30%以上,资源开销降低40%,并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动,助力企业探索实时计算与湖仓一体化解决方案。
970 3
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
|
NoSQL Redis 监控
redis-shake数据同步&迁移&备份导入导出工具使用介绍
redis-shake是阿里云Redis&MongoDB团队开源的用于redis数据同步的工具。
72306 4
redis-shake数据同步&迁移&备份导入导出工具使用介绍
|
Kubernetes Linux Docker
Kubernetes学习笔记-Part.09 K8s集群构建
Part.01 Kubernets与docker Part.02 Docker版本 Part.03 Kubernetes原理 Part.04 资源规划 Part.05 基础环境准备 Part.06 Docker安装 Part.07 Harbor搭建 Part.08 K8s环境安装 Part.09 K8s集群构建 Part.10 容器回退
1232 2
Kubernetes学习笔记-Part.09 K8s集群构建
|
存储 SQL 缓存
MySQL中间件ProxySQL介绍
ProxySQL 是一个高性能的SQL 代理。ProxySQL有一个高级多核体系结构。支持数十万并发连接,可以多路复用到后端服务器上。 作为守护进程运行。而且有一个进程监视这个守护进程,并在守护进程崩溃时重启守护进程,以减少停机时间。这个守护进程接受来自MySQL客户端的请求,并将其转发到后端的MySQL服务器上。 ProxySQL被设计为可以连续运行而且不需要重启。大多数配置可以在运行时使用类似SQL语句的查询完成。
2244 99
MySQL中间件ProxySQL介绍
WAT测试介绍
本文只要介绍芯片WAT的测试环境,测试结构,测试机台,测试标准,测试项目以及测试的意义。
WAT测试介绍
|
运维 Kubernetes 网络协议
2023年最新版的CKA考试真题
2023年最新版的CKA考试真题
4007 0
|
自然语言处理 运维 监控
[2.0快速体验]Apache Doris 2.0 日志分析快速体验
应用程序、服务器、云基础设施、IoT 和移动设备、DevOps、微服务架构—最重要的业务和 IT 发展趋势帮助我们以前所未有的方式优化运维和客户体验。但这些趋势也导致由机器生成的数据出现爆炸式成长,其中包括日志和指标等,例如,用户交易、客户行为、传感器活动、机器行为和安全威胁等。这些数据十分复杂,但同时也最为重要,因为它们包含关于 IT、安全和业务的运维情报。 日志分析涉及到对由您的 IT 系统和技术基础设施生成的机器数据进行搜索、分析与可视化,以便获得运维方面的见解。传统的数据分析工具已不能胜任如此多样性而且快速增加的机器数据的处理工作。 日志数据在不断增长。如果没有一个整体的、具有成本
1385 0