葡京网投哪个正规 > 新葡亰-数据 > proxy实现读写分离,基于docker的mysql主从复制搭建

原标题:proxy实现读写分离,基于docker的mysql主从复制搭建

浏览次数:69 时间:2019-11-30

1.安装和配置Docker

架构图

图片 1

未命名 2.001.jpeg

本文引用: http://blog.csdn.net/dream_broken/article/details/77838579
想搭建个mysql主从复制的环境,但是资源有限,不想创建多个虚拟机,就用docker来吧。

Mysql主从复制,读写分离(mysql-proxy),双主结构完整构建过程,mysqlmysql-proxy

下面介绍MySQL主从复制,读写分离,双主结构完整构建过程,不涉及过多理论,只有实验和配置的过程。 
Mysql主从复制(转载请注明出处,博文地址:) 
原理是master将改变记录到二进制日志(binary log),slave将master的binary log拷贝到中继日志(relay log),slave通过中继日志同步master的操作。 
1,实验环境,实验有2台Ubutu server 14都安装了mysql服务器,在相同的IP段 
172.16.34.212(主), 
172.16.34.156(从).

2,将这两台IP授权,允许其它IP通过账号密码进行访问(如添加个euht账号允许所有外部IP以密码123456访问),分别登录进两台机子的mysql执行如下语句 
Grant all privileges on . to ‘euht’@’%’ identified by ‘123456’ with grant option; 
Flush privileges; 
图片 2

注: 
①上述代码的意思是创建一个euht用户,host=%,允许所有IP通过用户名euht进行访问。添加完刷新权限。 
②此时两台机子的mysql应该是可以相互访问的,如果不可以,导致的原因有很多,最常见的是防火墙没关,mysql服务器绑定了本地地址。通过如下方法一般可解决问题 
关闭防火墙,或开放3306端口 
图片 3 
更改my.cnf文件,把bind-address注释掉 
vi /etc/mysql/my.cnf 
图片 4 
3,找到主服务器172.16.34.212MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件,在[mysqld]下面增加下面几行代码 
server-id=1 
log-bin=master-bin 
log-bin-index=master-bin.index 
保存后重启mysql(service mysql restart;) 
注:如果只需要同步特定的库,如上添加代码,binlog-do-db =euht ,用于master-slave的具体数据库 
4,进入mysql后,查看主服务器mysql master状态,日志File为master-bin.000001,Position为107(记下这两个值,后面进行从服务器操作的时候需要用到) 
图片 5 
5,配置从服务器(172.16.34.156) 
同样配置从服务器允许外部IP访问(参考第2点)

配置日志文件

找到从服务器172.16.34.156MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件,在[mysqld]下面增加下面几行代码(server-id跟主服务器不要相同了) 
server-id=10 
log-bin=master-bin 
log-bin-index=master-bin.index

6,连接到主服务器(连接上156的mysql执行以下语句,更改相应的内容) 
change master to 
master_host=’172.16.34.212’, 
master_user=’euht’, 
master_password=’123456’, 
master_log_file=’master-bin.000001’, 
master_log_pos=107;

7,启动slave 
mysql> start slave;

8,查看slave状态 
mysql> show slave statusG 
其中Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。 
图片 6 
以上已经可以实现172.16.34.162主服务器的库的所有变化同步到从服务器172.16.34.156

测试如下: 
1,如图两台服务器都没自定义数据库 
图片 7

2,创建一个数据库到主库(172.16.34.212),然后刷新从库观察情况(172.16.34.156) 
图片 8

观察得出212的所有操作都同步到从156从库了。至此主从复制完成。 
注意以下几点: 
1,做主从复制时,首先确定两台服务器的mysql没任何自定义库(否则只可以配置完后之前的东西没法同步,或者两个库都有完全相同的库应该也是可以同步)
2,server_id必须配置不一样 
3,防火墙不能把mysql服务端口给拦截了(默认3306) 
4,确保两台mysql可以相互访问(即需要第二步操作) 
5,重置master,slave。Reset master;reset slave;开启关闭slave,start slave;stop slave; 
Mysql读写分离

以上工作做完后可以开始搭建读写分离,读写分离目前主要的几种方式: 
1,MySQL Proxy(中间件) 
2,Amoeba for MySQL(中间件) 
3,Mycat(中间件) 
4,应用层实现 
下面介绍用MySQL Proxy实现读写分离。Mysql Proxy一般安装到单独的一台服务器来进行读写调度,以下添加一台IP来安装mysql-proxy调度器,IP为172.16.34.236 
1,首先安装mysql-proxy 
apt-get install mysql-proxy

2,实现读写分离是有lua脚本实现的,现在mysql-proxy里面已经集成,无需再安装。 
3,配置连接数达到多少才读写分离,此处改为1,1个连接就开始读写分离 
vim /usr/share/mysql-proxy/rw-splitting.lua

图片 9

4,启动mysql-proxy,主库用于写172.16.34.212,从库用于读172.16.34.156 
sudo mysql-proxy –proxy-read-only-backend-addresses=172.16.34.156:3306 –proxy-backend-addresses=172.16.34.212:3306 –proxy-lua-script=/usr/share/mysql-proxy/rw-splitting.lua –admin-username=euht 
–admin-password=123456 
–admin-lua-script=/usr/share/mysql-proxy/admin.lua 
5,启动后默认占用端口4040和4041。4040用于SQL转发,4041用于管理mysql-proxy。(netstat -tupln|grep mysql-proxy) 
图片 10

6,测试读写分离 
用主库172.16.34.212的用户euht在这台mysql-proxy服务器登录进去(也可以单独为这个代理创建一个用户) 
现在从这台代理登录进主mysql服务器插入一条数据到testtb,结果为主从两台服务器都有数据了。 
图片 11

为了测试读写是否真的分离了,我们把这两台服服务器的数据差异化

先登录mysql-proxy代理(-P指定端口号,必须指定否则登录进去的将是本地3306端口的那个,当然由于这台219服务器我没配置让外部机子可以访问,所以执行下面的语句缺少端口号直接报错。) 
mysql -ueuht -p -h172.16.34.219 -P4040 
登录进去我们为了看到读写分离是否生效,先到从服务器156把slave给停掉。(stop slave;)然后在代理服务器219的mysql-proxy执行插入数据。先看原本的数据情况 
图片 12

插入数据和查看数据 
图片 13

发现插入数据成功,再select出来居然没有刚才插入的数据。这时我们分别到两台服务器去查看数据。 
172.16..34.156从服务器的数据还是原来的 
图片 14 
再看212的数据 
图片 15

看到这里就看到效果了。主服务器已经有了刚才插入的数据,从服务器没有。这是因为从服务器的主从复制已经关闭,所以从mysql-proxy代理端插入数据(实际上是用了主服务器212去插入)没有复制到从服务器。从mysql-proxy读取没看到新插入的数据是因为代理端是去从服务器156读取数据的。 
至此,mysql的主从复制和读写分离就结束了。下面简单说一下双主结构。

Mysql双主结构

通过上面的介绍很容易看出,双主结构其实就是两台服务器相互数据复制。那么做到双主结构只需要把212主服务器变成156的从服务器即可。

在212服务器上执行(先到156查看日志位置,改对相应的东西即可show master status;) 
change master to 
master_host=’172.16.34.212’, 
master_user=’euht’, 
master_password=’123456’, 
master_log_file=’master-bin.000001’, 
master_log_pos=294;

开启主从 
mysql> start slave;

156,212都start slave,而且配置互为slave,这就是双主结构。

测试,212插入数据156会同步,156插入数据212会同步。经测试全部通过。(记得查看运行状态,Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。Show slave statusG)

下面介绍MySQL主从复制,读写分离,双主结构完整构建过程,不涉...

服务器版本
阿里云CentOS7.4

介绍

  1. MySQL Router是处于应用client和dbserver之间的轻量级代理程序,它能检测,分析和转发查询到后端数据库实例,并把结果返回给client。是mysql-proxy的一个替代品。
  2. Router实现读写分离,程序不是直接连接数据库IP,而是固定连接到mysql router。MySQL Router对前端应用是透明的。应用程序把MySQL Router当作是普通的mysql实例,把查询发给MySQL Router,而MySQL Router会把查询结果返回给前端的应用程序。
  3. 从数据库服务器故障,业务可以正常运行。由MySQL Router来进行自动下线不可用服务器。程序配置不需要任何修改。
  4. 主数据库故障,由MySQL Router来决定主从自动切换,业务可以正常访问。程序配置不需要做任何修改。

centos7下安装docker的方法,博文“docker学习2--centos7下安装”。

docker版本
18.06.0-ce

读写分离原理

MySQL Router接受前端应用程序请求后,根据不同的端口来区分读写,把连接读写端口的所有查询发往主库,把连接只读端口的select查询以轮询方式发往多个从库,从而实现读写分离的目的。读写返回的结果会交给MySQL Router,由MySQL Router返回给客户端的应用程序。

docker pull 从官方下载mysql镜像,速度非常慢,所以就从daocloud下载镜像吧,速度很快。

docker安装步骤

配置方法

基于 Docker

环境描述:

  • 操作系统:Ubuntu 14.04
  • router_master 主服务器(读写):172.17.0.8
  • router_slave01 从服务器(读,热备份):172.17.0.9
  • router_slave02 从服务器(读):172.17.0.10
  • mysql-router 路由服务器:172.17.0.2

docker pull daocloud.io/library/mysql:5.7

下载mysql镜像

1. MySQL 主从复制

参考《Amoeba for MySQL》

图片 16

# docker pull mysql:5.7

2. MySQL-Router 配置

  1. 安装部署 MySQL Router

    • 下载:MySQL Router
    • 解压到指定目录
    tar -zxvf mysql-router-2.1.4-linux-glibc2.12-x86-64bit.tar.gz -C /usr/local/
    cd /usr/local/
    ln -s mysql-router-2.0.3-linux-glibc2.12-x86-64bit/ mysql-router
    
  2. 配置 MySQL Router

    • 创建配置文件目录,复制配置文件模板
    mkdir /etc/mysql-route/
    cp share/doc/mysqlrouter/sample_mysqlrouter.conf /etc/mysql-route/mysqlrouter.conf
    
    • 配置文件
    [DEFAULT]
    # 日志存放目录
    logging_folder = /data/log/mysql-route
    # 插件存放目录
    plugin_folder = /usr/local/mysql-router/lib/mysqlrouter
    # 配置文件存放目录
    config_folder = /etc/mysql-route
    # 运行目录
    runtime_folder = /var/run
    
    [logger]
    # 日志运行级别
    level = INFO
    
    # 主节点故障转移配置
    [routing:basic_failover]
    # 写节点地址
    bind_address=172.17.0.2
    # 写节点端口
    bind_port = 7001
    # 模式,读写
    mode = read-write
    # 主节点地址:默认情况下第一台主数据库为写主库,当第一台主数据库DOWN机后,第二台数据库被提升为主库
    destinations = 172.17.0.8:3306,172.17.0.9:3306
    
    # 从节点负载均衡配置
    [routing:balancing]
    # 绑定的IP地址
    bind_address=172.17.0.2
    # 监听的端口
    bind_port = 7002
    # 连接超时时间
    connect_timeout = 3
    # 最大连接数
    max_connections = 1024
    # 后端服务器地址
    destinations = 172.17.0.9:3306,172.17.0.10:3306
    # 模式:读还是写
    mode = read-only
    
    [keepalive]
    interval = 60
    
    • 创建日志目录
    mkdir /data/log/mysql-route
    chown root:root /data/log/mysql-route/
    
  3. 启动 MySQL Router

root@mysql-router:/usr/local/mysql-router/bin# ./mysqlrouter -c /etc/mysql-route/mysqlrouter.conf &
  1. 测试读写分离

    1. 先暂时停掉主从复制
    2. 在 master 节点插入数据,然后通过 mysql-proxy 查询
    3. 在 slave 节点插入数据,然后通过 mysql-proxy 查询
  2. 验证负载均衡

    • 读操作
    mysql -h 172.17.0.2 -uroot -P7002 -proot -e "show variables like 'hostname';"
    
    • 写操作
    mysql -h 172.17.0.2 -uroot -P7001 -proot -e "show variables like 'hostname';"
    
  3. 测试主主故障切换

    • 从库 down 机
    • 主库 sown 机
  4. 缺陷

在一主多从的情况,如果主库down机,切换到备份节点,其他从库的主库地址连接还是故障的
主库,这样就会造成一个从库slave_io线程connecting状态,造成复制延迟

  • 解决方案:
1、在切换时需要自己编写脚本触发一个shell脚本或者event来处理重连的问题。

2、不使用mysql router主主故障转移功能,而是自己使用其他方式保证mysql主库高可用。

image

启动两个mysql镜像,分别映射3306和3316端口
主库:3306端口
备库:3316端口

运行起来,端口分别对应3306,3307

# docker run -p 3306:3306 --name mysql3306 -v /opt/mysql/data/data3306:/var/lib/mysql  -v /opt/mysql/logs/logs3306:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7

# docker run -p 3316:3306 --name mysql3316 -v /opt/mysql/data/data3316:/var/lib/mysql  -v /opt/mysql/logs/logs3316:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7

图片 17

图片 18

image

2.配置主从复制

3306为主,3307为从

从主库的docker容器中把默认的配置文件拷贝出来

进入3306,并查看容器的系统版本

# docker cp 37735c072370:/etc/mysql/mysql.conf.d/mysqld.cnf /opt/mysql/conf/conf3306

图片 19

修改配置文件增加两行

image

#vim mysqld.cnf 
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #设置server-id

发现用的是debian版本的linux,查找下my.cnf在哪

将修改后的配置文件拷回容器里,并重启容器

图片 20

# docker cp /opt/mysql/conf/conf3306/mysqld.cnf 37735c072370:/etc/mysql/mysql.conf.d/
# docker restart 37735c072370

image

创建主从复制需要的mysql账户,并分配权限

查看my.cnf,发现里面又指向/etc/mysql/mysql.conf.d/mysql.cnf

mysql>CREATE USER 'repl'@'xxx.xxx.xxx.xxx' IDENTIFIED BY 'repl123';
mysql>GRANT REPLICATION SLAVE ON *.* TO 'repl'@'xxx.xxx.xxx.xxx'

cat /etc/mysql/mysql.conf.d/mysqld.cnf

看到

 [mysqld]  
 pid-file        = /var/run/mysqld/mysqld.pid  
 socket          = /var/run/mysqld/mysqld.sock  
 datadir         = /var/lib/mysql  
 #log-error      = /var/log/mysql/error.log  
 # By default we only accept connections from localhost  
 #bind-address   = 127.0.0.1  
 # Disabling symbolic-
 links is recommended to prevent assorted security risks  
 symbolic-links=0  

这是我们熟悉的mysql配置了,我们指定下编码和主服务配置

使用vi的时候,提示not found

root@b5ab3b336918:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf   
bash: vi: command not found 

apt-get install vim失败。。。不想折腾了,把mysql.conf.d/mysql.cnf的内容复制到window本地来,修改好后,上传到虚拟机,然后docker run 的时候,使用-v 命令,把mysql.cnf映射到mysql容器吧

退出容器,删除容器mysql3306,mysql3307

图片 21

image

虚拟机上准备好/mysql-3306.cnf,是主库的配置

  [mysqld]  
  pid-file        = /var/run/mysqld/mysqld.pid  
 socket          = /var/run/mysqld/mysqld.sock  
 datadir         = /var/lib/mysql  
 #log-error      = /var/log/mysql/error.log  
 # By default we only accept connections from localhost  
 #bind-address   = 127.0.0.1  
 # Disabling symbolic-links is recommended to prevent assorted security risks  
 symbolic-links=0  

 character-set-server=utf8  
 default-storage-engine=INNODB  
 sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION  

 server-id=1  
 log_bin=/var/log/mysql/binlog  

从库配置/mysql-3307.cnf

  [mysqld]  
  pid-file        = /var/run/mysqld/mysqld.pid  
  socket          = /var/run/mysqld/mysqld.sock  
  datadir         = /var/lib/mysql  
  #log-error      = /var/log/mysql/error.log  
  # By default we only accept connections from localhost  
  #bind-address   = 127.0.0.1  
  # Disabling symbolic-links is recommended to prevent assorted security risks  
 symbolic-links=0  

  character-set-server=utf8  
  default-storage-engine=INNODB  
  sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION  

  server-id=2  
  log_bin=/var/log/mysql/binlog  
  innodb_file_per_table=ON  
 skip_name_resolve=ON  
  binlog-format=row  
  log-slave-updates=true  
 relay_log=/var/log/mysql/relay.log  

server-id是唯一的,主从不能相同。

执行下边命令,运行两个mysql镜像

 docker run --name mysql3306 -v /mysql-3306.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7  


 docker run --name mysql3307 -v /mysql-3307.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7  

使用navicat连接3306,3307

图片 22

image

主库3306上查询下SHOW MASTER STATUS

图片 23

image

从库3307上,停止slave,并配置主库master的连接

图片 24

image

配置主库连接,使用root用户

CHANGE MASTER TO MASTER_HOST='192.168.174.136',MASTER_USER='root', MASTER_PASSWORD='123456',MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;  

注意:MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;要和主库3306上面show master的时候得到的数据一致

从库3307启动start slave

图片 25

image

查看slave状态

图片 26

image

配置OK了,接着试试在主库3306上创建数据库、表,看看是否3307也同步

3306上执行

CREATE DATABASE test DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;  

然后navicat上刷新3307,发现3307上也创建有test库了,说明主从同步OK了,可以接着测试创建表、对表的数据进行增删改进行测试

在这从库配置的时候,还需要stop slave;change XXXX;start slave操作,那如果从库重启了,这主从同步是否仍然有效呢?停止3307,然后在3306上创建表,这是3307停止了,肯定没同步到3307,然后启动3307,再次检查数据,发现3306的表同步过来了,说明从库重启,同步功能然后存在。

CREATE TABLE `user` (
`id`  int NOT NULL AUTO_INCREMENT ,
`user_name`  varchar(50) NULL ,
PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
;

查看主库状态,记录下File和Position

mysql>SHOW MASTER STATUS;

图片 27

修改从库配置文件

#vim mysqld.cnf 
[mysqld]
server-id=2 #设置server-id

同样拷进从库镜像,并重启容器

mysql中执行配置主库的语句

mysql>change master to master_host='xxx.xxx.xxx.xxx', #Master 服务器Ip
master_port=3306,
master_user='repl',
master_password='repl123', 
master_log_file='master-bin.000001',#Master服务器产生的日志
master_log_pos=2986;

mysql>start slave;

mysql>show slave statusG

如果slave_io_running和slave_sql_running都为yes,表示启动同步成功

图片 28

建立两个客户端连接并创建测试库

图片 29

主库建立student表并插入一条记录,可以看到,从库自动同步了数据,配置成功

图片 30      图片 31

 

 图片 32   图片 33

 

3.用mysql-proxy实现读写分离

下载mysql-proxy

解压并配置mysql-proxy

# tar zxvf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
# cd mysql-proxy-0.8.5-linux-el6-x86-64bit
# vim /etc/mysql-proxy.cnf
[mysql-proxy]
user=root #运行mysql-proxy用户
admin-username=proxy #主从mysql共有的用户
admin-password=proxy123 #共有用户密码
proxy-read-only-backend-addresses=xxx.xxx.xxx.xxx:3316 #备库地址
proxy-backend-addresses=xxx.xxx.xxx.xxx:3306 #主库地址
proxy-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua #指定读写分离配置文件位置
admin-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/admin-sql.lua #指定管理脚本
daemon=true #以守护进程方式运行
keepalive=true #mysql-proxy崩溃时,尝试重启

修改读写分离配置文件

# vim /usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua
min_idle_connections = 1, #默认超过4个连接数时才开始读写分离,改为1
max_idle_connections = 1,

mysql-proxy的bin目录下启动mysql-proxy

# ./mysql-proxy --defaults-file=/etc/mysql-proxy.cnf

主库和从库分别创建用户

mysql>GRANT ALL ON *.* TO 'proxy'@'xxx.xxx.xxx' identified by 'proxy123';

创建mysql-proxy的数据里连接(默认端口4040),可以看到之前验证主从复制时简历的test库和student表

图片 34

 只修改从库的数据,然后通过mysql-proxy查询,可以看到读取的数据是从库修改过的数据,读分离验证成功。

主库:图片 35

从库:图片 36

mysql-proxy:图片 37

停止从库的docker容器,通过mysql-proxy插入一条数据,主库中刷新也有新增的数据,写分离验证成功。

mysql-proxy:图片 38

主库:图片 39

从库:图片 40

 

至此,mysql的主从复制已经通过mysql-proxy实现读写分离已实现。

 

本文由葡京网投哪个正规发布于新葡亰-数据,转载请注明出处:proxy实现读写分离,基于docker的mysql主从复制搭建

关键词:

上一篇:葡京网投哪个正规如何规划,阿里云构建千万级别架构演变之路

下一篇:MySQL优化大全,开发进阶篇系列