新葡亰-数据

葡京网投哪个正规 > 新葡亰-数据 > proxy实现读写分离，基于docker的mysql主从复制搭建

原标题：proxy实现读写分离，基于docker的mysql主从复制搭建

浏览次数：69　时间：2019-11-30

1.安装和配置Docker

架构图

图片 1

未命名 2.001.jpeg

本文引用： http://blog.csdn.net/dream_broken/article/details/77838579
想搭建个mysql主从复制的环境，但是资源有限，不想创建多个虚拟机，就用docker来吧。

Mysql主从复制，读写分离(mysql-proxy)，双主结构完整构建过程，mysqlmysql-proxy

下面介绍MySQL主从复制，读写分离，双主结构完整构建过程，不涉及过多理论，只有实验和配置的过程。 
Mysql主从复制(转载请注明出处，博文地址:) 
原理是master将改变记录到二进制日志（binary log）,slave将master的binary log拷贝到中继日志（relay log）,slave通过中继日志同步master的操作。 
1，实验环境，实验有2台Ubutu server 14都安装了mysql服务器,在相同的IP段 
172.16.34.212(主), 
172.16.34.156(从).

2，将这两台IP授权，允许其它IP通过账号密码进行访问(如添加个euht账号允许所有外部IP以密码123456访问)，分别登录进两台机子的mysql执行如下语句 
Grant all privileges on . to ‘euht’@’%’ identified by ‘123456’ with grant option; 
Flush privileges; 
图片 2

注： 
①上述代码的意思是创建一个euht用户，host=%，允许所有IP通过用户名euht进行访问。添加完刷新权限。 
②此时两台机子的mysql应该是可以相互访问的，如果不可以，导致的原因有很多，最常见的是防火墙没关，mysql服务器绑定了本地地址。通过如下方法一般可解决问题 
关闭防火墙，或开放3306端口 
图片 3 
更改my.cnf文件，把bind-address注释掉 
vi /etc/mysql/my.cnf 
图片 4 
3,找到主服务器172.16.34.212MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件，在[mysqld]下面增加下面几行代码 
server-id=1 
log-bin=master-bin 
log-bin-index=master-bin.index 
保存后重启mysql(service mysql restart;) 
注：如果只需要同步特定的库，如上添加代码,binlog-do-db =euht ，用于master-slave的具体数据库 
4,进入mysql后，查看主服务器mysql master状态,日志File为master-bin.000001，Position为107(记下这两个值，后面进行从服务器操作的时候需要用到) 
图片 5 
5，配置从服务器(172.16.34.156) 
同样配置从服务器允许外部IP访问(参考第2点)

配置日志文件

找到从服务器172.16.34.156MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件，在[mysqld]下面增加下面几行代码(server-id跟主服务器不要相同了) 
server-id=10 
log-bin=master-bin 
log-bin-index=master-bin.index

6，连接到主服务器（连接上156的mysql执行以下语句,更改相应的内容） 
change master to 
master_host=’172.16.34.212’, 
master_user=’euht’, 
master_password=’123456’, 
master_log_file=’master-bin.000001’, 
master_log_pos=107;

7，启动slave 
mysql> start slave;

8,查看slave状态 
mysql> show slave statusG 
其中Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES，才表明状态正常。 
图片 6 
以上已经可以实现172.16.34.162主服务器的库的所有变化同步到从服务器172.16.34.156

测试如下： 
1，如图两台服务器都没自定义数据库 
图片 7

2，创建一个数据库到主库(172.16.34.212)，然后刷新从库观察情况(172.16.34.156) 
图片 8

观察得出212的所有操作都同步到从156从库了。至此主从复制完成。 
注意以下几点: 
1,做主从复制时，首先确定两台服务器的mysql没任何自定义库(否则只可以配置完后之前的东西没法同步,或者两个库都有完全相同的库应该也是可以同步)
2，server_id必须配置不一样 
3，防火墙不能把mysql服务端口给拦截了(默认3306) 
4，确保两台mysql可以相互访问(即需要第二步操作) 
5，重置master,slave。Reset master;reset slave;开启关闭slave,start slave;stop slave; 
Mysql读写分离

以上工作做完后可以开始搭建读写分离，读写分离目前主要的几种方式: 
1，MySQL Proxy(中间件) 
2，Amoeba for MySQL(中间件) 
3，Mycat(中间件) 
4，应用层实现 
下面介绍用MySQL Proxy实现读写分离。Mysql Proxy一般安装到单独的一台服务器来进行读写调度，以下添加一台IP来安装mysql-proxy调度器，IP为172.16.34.236 
1,首先安装mysql-proxy 
apt-get install mysql-proxy

2，实现读写分离是有lua脚本实现的，现在mysql-proxy里面已经集成，无需再安装。 
3，配置连接数达到多少才读写分离，此处改为1，1个连接就开始读写分离 
vim /usr/share/mysql-proxy/rw-splitting.lua

图片 9

4，启动mysql-proxy,主库用于写172.16.34.212，从库用于读172.16.34.156 
sudo mysql-proxy –proxy-read-only-backend-addresses=172.16.34.156:3306 –proxy-backend-addresses=172.16.34.212:3306 –proxy-lua-script=/usr/share/mysql-proxy/rw-splitting.lua –admin-username=euht 
–admin-password=123456 
–admin-lua-script=/usr/share/mysql-proxy/admin.lua 
5，启动后默认占用端口4040和4041。4040用于SQL转发，4041用于管理mysql-proxy。(netstat -tupln|grep mysql-proxy) 
图片 10

6，测试读写分离 
用主库172.16.34.212的用户euht在这台mysql-proxy服务器登录进去(也可以单独为这个代理创建一个用户) 
现在从这台代理登录进主mysql服务器插入一条数据到testtb，结果为主从两台服务器都有数据了。 
图片 11

为了测试读写是否真的分离了，我们把这两台服服务器的数据差异化

先登录mysql-proxy代理(-P指定端口号，必须指定否则登录进去的将是本地3306端口的那个，当然由于这台219服务器我没配置让外部机子可以访问，所以执行下面的语句缺少端口号直接报错。) 
mysql -ueuht -p -h172.16.34.219 -P4040 
登录进去我们为了看到读写分离是否生效，先到从服务器156把slave给停掉。(stop slave;）然后在代理服务器219的mysql-proxy执行插入数据。先看原本的数据情况 
图片 12

插入数据和查看数据 
图片 13

发现插入数据成功，再select出来居然没有刚才插入的数据。这时我们分别到两台服务器去查看数据。 
172.16..34.156从服务器的数据还是原来的 
图片 14 
再看212的数据 
图片 15

看到这里就看到效果了。主服务器已经有了刚才插入的数据，从服务器没有。这是因为从服务器的主从复制已经关闭，所以从mysql-proxy代理端插入数据(实际上是用了主服务器212去插入)没有复制到从服务器。从mysql-proxy读取没看到新插入的数据是因为代理端是去从服务器156读取数据的。 
至此，mysql的主从复制和读写分离就结束了。下面简单说一下双主结构。

Mysql双主结构

通过上面的介绍很容易看出，双主结构其实就是两台服务器相互数据复制。那么做到双主结构只需要把212主服务器变成156的从服务器即可。

在212服务器上执行(先到156查看日志位置，改对相应的东西即可show master status;) 
change master to 
master_host=’172.16.34.212’, 
master_user=’euht’, 
master_password=’123456’, 
master_log_file=’master-bin.000001’, 
master_log_pos=294;

开启主从 
mysql> start slave;

156，212都start slave,而且配置互为slave，这就是双主结构。

测试，212插入数据156会同步，156插入数据212会同步。经测试全部通过。(记得查看运行状态，Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES，才表明状态正常。Show slave statusG)

下面介绍MySQL主从复制，读写分离，双主结构完整构建过程，不涉...

服务器版本
阿里云CentOS7.4

介绍

  1. MySQL Router是处于应用client和dbserver之间的轻量级代理程序，它能检测，分析和转发查询到后端数据库实例，并把结果返回给client。是mysql-proxy的一个替代品。
  2. Router实现读写分离，程序不是直接连接数据库IP，而是固定连接到mysql router。MySQL Router对前端应用是透明的。应用程序把MySQL Router当作是普通的mysql实例，把查询发给MySQL Router,而MySQL Router会把查询结果返回给前端的应用程序。
  3. 从数据库服务器故障，业务可以正常运行。由MySQL Router来进行自动下线不可用服务器。程序配置不需要任何修改。
  4. 主数据库故障，由MySQL Router来决定主从自动切换，业务可以正常访问。程序配置不需要做任何修改。

centos7下安装docker的方法，博文“docker学习2--centos7下安装”。

docker版本
18.06.0-ce

读写分离原理

MySQL Router接受前端应用程序请求后，根据不同的端口来区分读写，把连接读写端口的所有查询发往主库，把连接只读端口的select查询以轮询方式发往多个从库，从而实现读写分离的目的。读写返回的结果会交给MySQL Router,由MySQL Router返回给客户端的应用程序。

docker pull 从官方下载mysql镜像，速度非常慢,所以就从daocloud下载镜像吧，速度很快。

docker安装步骤

配置方法

基于 Docker

环境描述:

  • 操作系统：Ubuntu 14.04
  • router_master 主服务器（读写）：172.17.0.8
  • router_slave01 从服务器（读，热备份）：172.17.0.9
  • router_slave02 从服务器（读）：172.17.0.10
  • mysql-router 路由服务器：172.17.0.2

docker pull daocloud.io/library/mysql:5.7

下载mysql镜像

1. MySQL 主从复制

参考《Amoeba for MySQL》

图片 16

# docker pull mysql:5.7

2. MySQL-Router 配置

  1. 安装部署 MySQL Router

    • 下载：MySQL Router
    • 解压到指定目录
    tar -zxvf mysql-router-2.1.4-linux-glibc2.12-x86-64bit.tar.gz -C /usr/local/
cd /usr/local/
ln -s mysql-router-2.0.3-linux-glibc2.12-x86-64bit/ mysql-router

  2. 配置 MySQL Router

    • 创建配置文件目录，复制配置文件模板
    mkdir /etc/mysql-route/
cp share/doc/mysqlrouter/sample_mysqlrouter.conf /etc/mysql-route/mysqlrouter.conf
    • 配置文件
    [DEFAULT]
# 日志存放目录
logging_folder = /data/log/mysql-route
# 插件存放目录
plugin_folder = /usr/local/mysql-router/lib/mysqlrouter
# 配置文件存放目录
config_folder = /etc/mysql-route
# 运行目录
runtime_folder = /var/run

[logger]
# 日志运行级别
level = INFO

# 主节点故障转移配置
[routing:basic_failover]
# 写节点地址
bind_address=172.17.0.2
# 写节点端口
bind_port = 7001
# 模式，读写
mode = read-write
# 主节点地址：默认情况下第一台主数据库为写主库，当第一台主数据库DOWN机后，第二台数据库被提升为主库
destinations = 172.17.0.8:3306,172.17.0.9:3306

# 从节点负载均衡配置
[routing:balancing]
# 绑定的IP地址
bind_address=172.17.0.2
# 监听的端口
bind_port = 7002
# 连接超时时间
connect_timeout = 3
# 最大连接数
max_connections = 1024
# 后端服务器地址
destinations = 172.17.0.9:3306,172.17.0.10:3306
# 模式:读还是写
mode = read-only

[keepalive]
interval = 60
    • 创建日志目录
    mkdir /data/log/mysql-route
chown root:root /data/log/mysql-route/

  3. 启动 MySQL Router

root@mysql-router:/usr/local/mysql-router/bin# ./mysqlrouter -c /etc/mysql-route/mysqlrouter.conf &

  1. 测试读写分离

    1. 先暂时停掉主从复制
    2. 在 master 节点插入数据，然后通过 mysql-proxy 查询
    3. 在 slave 节点插入数据，然后通过 mysql-proxy 查询

  2. 验证负载均衡

    • 读操作
    mysql -h 172.17.0.2 -uroot -P7002 -proot -e "show variables like 'hostname';"
    • 写操作
    mysql -h 172.17.0.2 -uroot -P7001 -proot -e "show variables like 'hostname';"

  3. 测试主主故障切换

    • 从库 down 机
    • 主库 sown 机

  4. 缺陷

在一主多从的情况，如果主库down机，切换到备份节点，其他从库的主库地址连接还是故障的
主库，这样就会造成一个从库slave_io线程connecting状态，造成复制延迟

  • 解决方案：
1、在切换时需要自己编写脚本触发一个shell脚本或者event来处理重连的问题。

2、不使用mysql router主主故障转移功能，而是自己使用其他方式保证mysql主库高可用。

image

启动两个mysql镜像，分别映射3306和3316端口
主库：3306端口
备库：3316端口

运行起来，端口分别对应3306,3307

# docker run -p 3306:3306 --name mysql3306 -v /opt/mysql/data/data3306:/var/lib/mysql  -v /opt/mysql/logs/logs3306:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7

# docker run -p 3316:3306 --name mysql3316 -v /opt/mysql/data/data3316:/var/lib/mysql  -v /opt/mysql/logs/logs3316:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7

图片 17

图片 18

image

2.配置主从复制

3306为主，3307为从

从主库的docker容器中把默认的配置文件拷贝出来

进入3306,并查看容器的系统版本

# docker cp 37735c072370:/etc/mysql/mysql.conf.d/mysqld.cnf /opt/mysql/conf/conf3306

图片 19

修改配置文件增加两行

image

#vim mysqld.cnf 
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #设置server-id

发现用的是debian版本的linux，查找下my.cnf在哪

将修改后的配置文件拷回容器里，并重启容器

图片 20

# docker cp /opt/mysql/conf/conf3306/mysqld.cnf 37735c072370:/etc/mysql/mysql.conf.d/
# docker restart 37735c072370

image

创建主从复制需要的mysql账户,并分配权限

查看my.cnf，发现里面又指向/etc/mysql/mysql.conf.d/mysql.cnf

mysql>CREATE USER 'repl'@'xxx.xxx.xxx.xxx' IDENTIFIED BY 'repl123';
mysql>GRANT REPLICATION SLAVE ON *.* TO 'repl'@'xxx.xxx.xxx.xxx'

cat /etc/mysql/mysql.conf.d/mysqld.cnf

看到

 [mysqld]  
 pid-file        = /var/run/mysqld/mysqld.pid  
 socket          = /var/run/mysqld/mysqld.sock  
 datadir         = /var/lib/mysql  
 #log-error      = /var/log/mysql/error.log  
 # By default we only accept connections from localhost  
 #bind-address   = 127.0.0.1  
 # Disabling symbolic-
 links is recommended to prevent assorted security risks  
 symbolic-links=0

这是我们熟悉的mysql配置了，我们指定下编码和主服务配置

使用vi的时候，提示not found

root@b5ab3b336918:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf   
bash: vi: command not found

apt-get install vim失败。。。不想折腾了，把mysql.conf.d/mysql.cnf的内容复制到window本地来，修改好后，上传到虚拟机，然后docker run 的时候，使用-v 命令，把mysql.cnf映射到mysql容器吧

退出容器，删除容器mysql3306,mysql3307

图片 21

image

虚拟机上准备好/mysql-3306.cnf，是主库的配置

  [mysqld]  
  pid-file        = /var/run/mysqld/mysqld.pid  
 socket          = /var/run/mysqld/mysqld.sock  
 datadir         = /var/lib/mysql  
 #log-error      = /var/log/mysql/error.log  
 # By default we only accept connections from localhost  
 #bind-address   = 127.0.0.1  
 # Disabling symbolic-links is recommended to prevent assorted security risks  
 symbolic-links=0  

 character-set-server=utf8  
 default-storage-engine=INNODB  
 sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION  

 server-id=1  
 log_bin=/var/log/mysql/binlog

从库配置/mysql-3307.cnf

  [mysqld]  
  pid-file        = /var/run/mysqld/mysqld.pid  
  socket          = /var/run/mysqld/mysqld.sock  
  datadir         = /var/lib/mysql  
  #log-error      = /var/log/mysql/error.log  
  # By default we only accept connections from localhost  
  #bind-address   = 127.0.0.1  
  # Disabling symbolic-links is recommended to prevent assorted security risks  
 symbolic-links=0  

  character-set-server=utf8  
  default-storage-engine=INNODB  
  sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION  

  server-id=2  
  log_bin=/var/log/mysql/binlog  
  innodb_file_per_table=ON  
 skip_name_resolve=ON  
  binlog-format=row  
  log-slave-updates=true  
 relay_log=/var/log/mysql/relay.log

server-id是唯一的，主从不能相同。

执行下边命令，运行两个mysql镜像

 docker run --name mysql3306 -v /mysql-3306.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7  


 docker run --name mysql3307 -v /mysql-3307.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7

使用navicat连接3306,3307

图片 22

image

主库3306上查询下SHOW MASTER STATUS

图片 23

image

从库3307上，停止slave,并配置主库master的连接

图片 24

image

配置主库连接，使用root用户

CHANGE MASTER TO MASTER_HOST='192.168.174.136',MASTER_USER='root', MASTER_PASSWORD='123456',MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;

注意：MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;要和主库3306上面show master的时候得到的数据一致

从库3307启动start slave

图片 25

image

查看slave状态

图片 26

image

配置OK了，接着试试在主库3306上创建数据库、表，看看是否3307也同步

3306上执行

CREATE DATABASE test DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

然后navicat上刷新3307，发现3307上也创建有test库了，说明主从同步OK了，可以接着测试创建表、对表的数据进行增删改进行测试

在这从库配置的时候，还需要stop slave;change XXXX;start slave操作，那如果从库重启了，这主从同步是否仍然有效呢？停止3307，然后在3306上创建表，这是3307停止了，肯定没同步到3307，然后启动3307，再次检查数据，发现3306的表同步过来了，说明从库重启，同步功能然后存在。

CREATE TABLE `user` (
`id`  int NOT NULL AUTO_INCREMENT ,
`user_name`  varchar(50) NULL ,
PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
;

查看主库状态，记录下File和Position

mysql>SHOW MASTER STATUS;

图片 27

修改从库配置文件

#vim mysqld.cnf 
[mysqld]
server-id=2 #设置server-id

同样拷进从库镜像，并重启容器

mysql中执行配置主库的语句

mysql>change master to master_host='xxx.xxx.xxx.xxx', #Master 服务器Ip
master_port=3306,
master_user='repl',
master_password='repl123', 
master_log_file='master-bin.000001',#Master服务器产生的日志
master_log_pos=2986;

mysql>start slave;

mysql>show slave statusG

如果slave_io_running和slave_sql_running都为yes，表示启动同步成功

图片 28

建立两个客户端连接并创建测试库

图片 29

主库建立student表并插入一条记录，可以看到，从库自动同步了数据，配置成功

图片 30      图片 31

 

 图片 32   图片 33

 

3.用mysql-proxy实现读写分离

下载mysql-proxy

解压并配置mysql-proxy

# tar zxvf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
# cd mysql-proxy-0.8.5-linux-el6-x86-64bit
# vim /etc/mysql-proxy.cnf
[mysql-proxy]
user=root #运行mysql-proxy用户
admin-username=proxy #主从mysql共有的用户
admin-password=proxy123 #共有用户密码
proxy-read-only-backend-addresses=xxx.xxx.xxx.xxx:3316 #备库地址
proxy-backend-addresses=xxx.xxx.xxx.xxx:3306 #主库地址
proxy-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua #指定读写分离配置文件位置
admin-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/admin-sql.lua #指定管理脚本
daemon=true #以守护进程方式运行
keepalive=true #mysql-proxy崩溃时，尝试重启

修改读写分离配置文件

# vim /usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua
min_idle_connections = 1, #默认超过4个连接数时才开始读写分离，改为1
max_idle_connections = 1,

mysql-proxy的bin目录下启动mysql-proxy

# ./mysql-proxy --defaults-file=/etc/mysql-proxy.cnf

主库和从库分别创建用户

mysql>GRANT ALL ON *.* TO 'proxy'@'xxx.xxx.xxx' identified by 'proxy123';

创建mysql-proxy的数据里连接（默认端口4040），可以看到之前验证主从复制时简历的test库和student表

图片 34

 只修改从库的数据，然后通过mysql-proxy查询，可以看到读取的数据是从库修改过的数据，读分离验证成功。

主库：图片 35

从库：图片 36

mysql-proxy:图片 37

停止从库的docker容器，通过mysql-proxy插入一条数据，主库中刷新也有新增的数据，写分离验证成功。

mysql-proxy:图片 38

主库：图片 39

从库：图片 40

 

至此，mysql的主从复制已经通过mysql-proxy实现读写分离已实现。

 

本文由葡京网投哪个正规发布于新葡亰-数据,转载请注明出处：proxy实现读写分离，基于docker的mysql主从复制搭建

关键词：

上一篇：葡京网投哪个正规如何规划，阿里云构建千万级别架构演变之路

下一篇：MySQL优化大全，开发进阶篇系列