1.安装和配置Docker
架构图
未命名 2.001.jpeg
本文引用:
http://blog.csdn.net/dream_broken/article/details/77838579
想搭建个mysql主从复制的环境,但是资源有限,不想创建多个虚拟机,就用docker来吧。
Mysql主从复制,读写分离(mysql-proxy),双主结构完整构建过程,mysqlmysql-proxy
下面介绍MySQL主从复制,读写分离,双主结构完整构建过程,不涉及过多理论,只有实验和配置的过程。
Mysql主从复制(转载请注明出处,博文地址:)
原理是master将改变记录到二进制日志(binary log),slave将master的binary
log拷贝到中继日志(relay log),slave通过中继日志同步master的操作。
1,实验环境,实验有2台Ubutu server 14都安装了mysql服务器,在相同的IP段
172.16.34.212(主),
172.16.34.156(从).
2,将这两台IP授权,允许其它IP通过账号密码进行访问(如添加个euht账号允许所有外部IP以密码123456访问),分别登录进两台机子的mysql执行如下语句
Grant all privileges on . to ‘euht’@’%’ identified by ‘123456’ with
grant option;
Flush privileges;
注:
①上述代码的意思是创建一个euht用户,host=%,允许所有IP通过用户名euht进行访问。添加完刷新权限。
②此时两台机子的mysql应该是可以相互访问的,如果不可以,导致的原因有很多,最常见的是防火墙没关,mysql服务器绑定了本地地址。通过如下方法一般可解决问题
关闭防火墙,或开放3306端口
更改my.cnf文件,把bind-address注释掉
vi /etc/mysql/my.cnf
3,找到主服务器172.16.34.212MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件,在[mysqld]下面增加下面几行代码
server-id=1
log-bin=master-bin
log-bin-index=master-bin.index
保存后重启mysql(service mysql restart;)
注:如果只需要同步特定的库,如上添加代码,binlog-do-db =euht
,用于master-slave的具体数据库
4,进入mysql后,查看主服务器mysql
master状态,日志File为master-bin.000001,Position为107(记下这两个值,后面进行从服务器操作的时候需要用到)
5,配置从服务器(172.16.34.156)
同样配置从服务器允许外部IP访问(参考第2点)
配置日志文件
找到从服务器172.16.34.156MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件,在[mysqld]下面增加下面几行代码(server-id跟主服务器不要相同了)
server-id=10
log-bin=master-bin
log-bin-index=master-bin.index
6,连接到主服务器(连接上156的mysql执行以下语句,更改相应的内容)
change master to
master_host=’172.16.34.212’,
master_user=’euht’,
master_password=’123456’,
master_log_file=’master-bin.000001’,
master_log_pos=107;
7,启动slave
mysql> start slave;
8,查看slave状态
mysql> show slave statusG
其中Slave_IO_Running 与 Slave_SQL_Running
的值都必须为YES,才表明状态正常。
以上已经可以实现172.16.34.162主服务器的库的所有变化同步到从服务器172.16.34.156
测试如下:
1,如图两台服务器都没自定义数据库
2,创建一个数据库到主库(172.16.34.212),然后刷新从库观察情况(172.16.34.156)
观察得出212的所有操作都同步到从156从库了。至此主从复制完成。
注意以下几点:
1,做主从复制时,首先确定两台服务器的mysql没任何自定义库(否则只可以配置完后之前的东西没法同步,或者两个库都有完全相同的库应该也是可以同步)
2,server_id必须配置不一样
3,防火墙不能把mysql服务端口给拦截了(默认3306)
4,确保两台mysql可以相互访问(即需要第二步操作)
5,重置master,slave。Reset master;reset slave;开启关闭slave,start
slave;stop slave;
Mysql读写分离
以上工作做完后可以开始搭建读写分离,读写分离目前主要的几种方式:
1,MySQL Proxy(中间件)
2,Amoeba for MySQL(中间件)
3,Mycat(中间件)
4,应用层实现
下面介绍用MySQL Proxy实现读写分离。Mysql
Proxy一般安装到单独的一台服务器来进行读写调度,以下添加一台IP来安装mysql-proxy调度器,IP为172.16.34.236
1,首先安装mysql-proxy
apt-get install mysql-proxy
2,实现读写分离是有lua脚本实现的,现在mysql-proxy里面已经集成,无需再安装。
3,配置连接数达到多少才读写分离,此处改为1,1个连接就开始读写分离
vim /usr/share/mysql-proxy/rw-splitting.lua
4,启动mysql-proxy,主库用于写172.16.34.212,从库用于读172.16.34.156
sudo mysql-proxy –proxy-read-only-backend-addresses=172.16.34.156:3306
–proxy-backend-addresses=172.16.34.212:3306
–proxy-lua-script=/usr/share/mysql-proxy/rw-splitting.lua
–admin-username=euht
–admin-password=123456
–admin-lua-script=/usr/share/mysql-proxy/admin.lua
5,启动后默认占用端口4040和4041。4040用于SQL转发,4041用于管理mysql-proxy。(netstat
-tupln|grep mysql-proxy)
6,测试读写分离
用主库172.16.34.212的用户euht在这台mysql-proxy服务器登录进去(也可以单独为这个代理创建一个用户)
现在从这台代理登录进主mysql服务器插入一条数据到testtb,结果为主从两台服务器都有数据了。
为了测试读写是否真的分离了,我们把这两台服服务器的数据差异化
先登录mysql-proxy代理(-P指定端口号,必须指定否则登录进去的将是本地3306端口的那个,当然由于这台219服务器我没配置让外部机子可以访问,所以执行下面的语句缺少端口号直接报错。)
mysql -ueuht -p -h172.16.34.219 -P4040
登录进去我们为了看到读写分离是否生效,先到从服务器156把slave给停掉。(stop
slave;)然后在代理服务器219的mysql-proxy执行插入数据。先看原本的数据情况
插入数据和查看数据
发现插入数据成功,再select出来居然没有刚才插入的数据。这时我们分别到两台服务器去查看数据。
172.16..34.156从服务器的数据还是原来的
再看212的数据
看到这里就看到效果了。主服务器已经有了刚才插入的数据,从服务器没有。这是因为从服务器的主从复制已经关闭,所以从mysql-proxy代理端插入数据(实际上是用了主服务器212去插入)没有复制到从服务器。从mysql-proxy读取没看到新插入的数据是因为代理端是去从服务器156读取数据的。
至此,mysql的主从复制和读写分离就结束了。下面简单说一下双主结构。
Mysql双主结构
通过上面的介绍很容易看出,双主结构其实就是两台服务器相互数据复制。那么做到双主结构只需要把212主服务器变成156的从服务器即可。
在212服务器上执行(先到156查看日志位置,改对相应的东西即可show master
status;)
change master to
master_host=’172.16.34.212’,
master_user=’euht’,
master_password=’123456’,
master_log_file=’master-bin.000001’,
master_log_pos=294;
开启主从
mysql> start slave;
156,212都start slave,而且配置互为slave,这就是双主结构。
测试,212插入数据156会同步,156插入数据212会同步。经测试全部通过。(记得查看运行状态,Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。Show slave statusG)
下面介绍MySQL主从复制,读写分离,双主结构完整构建过程,不涉...
服务器版本
阿里云CentOS7.4
介绍
- MySQL Router是处于应用client和dbserver之间的轻量级代理程序,它能检测,分析和转发查询到后端数据库实例,并把结果返回给client。是mysql-proxy的一个替代品。
- Router实现读写分离,程序不是直接连接数据库IP,而是固定连接到mysql router。MySQL Router对前端应用是透明的。应用程序把MySQL Router当作是普通的mysql实例,把查询发给MySQL Router,而MySQL Router会把查询结果返回给前端的应用程序。
- 从数据库服务器故障,业务可以正常运行。由MySQL Router来进行自动下线不可用服务器。程序配置不需要任何修改。
- 主数据库故障,由MySQL Router来决定主从自动切换,业务可以正常访问。程序配置不需要做任何修改。
centos7下安装docker的方法,博文“docker学习2--centos7下安装”。
docker版本
18.06.0-ce
读写分离原理
MySQL Router接受前端应用程序请求后,根据不同的端口来区分读写,把连接读写端口的所有查询发往主库,把连接只读端口的select查询以轮询方式发往多个从库,从而实现读写分离的目的。读写返回的结果会交给MySQL Router,由MySQL Router返回给客户端的应用程序。
docker pull 从官方下载mysql镜像,速度非常慢,所以就从daocloud下载镜像吧,速度很快。
docker安装步骤
配置方法
基于 Docker
环境描述:
- 操作系统:Ubuntu 14.04
- router_master 主服务器(读写):172.17.0.8
- router_slave01 从服务器(读,热备份):172.17.0.9
- router_slave02 从服务器(读):172.17.0.10
- mysql-router 路由服务器:172.17.0.2
docker pull daocloud.io/library/mysql:5.7
下载mysql镜像
1. MySQL 主从复制
参考《Amoeba for MySQL》
# docker pull mysql:5.7
2. MySQL-Router 配置
安装部署 MySQL Router
- 下载:MySQL Router
- 解压到指定目录
tar -zxvf mysql-router-2.1.4-linux-glibc2.12-x86-64bit.tar.gz -C /usr/local/ cd /usr/local/ ln -s mysql-router-2.0.3-linux-glibc2.12-x86-64bit/ mysql-router
配置 MySQL Router
- 创建配置文件目录,复制配置文件模板
mkdir /etc/mysql-route/ cp share/doc/mysqlrouter/sample_mysqlrouter.conf /etc/mysql-route/mysqlrouter.conf
- 配置文件
[DEFAULT] # 日志存放目录 logging_folder = /data/log/mysql-route # 插件存放目录 plugin_folder = /usr/local/mysql-router/lib/mysqlrouter # 配置文件存放目录 config_folder = /etc/mysql-route # 运行目录 runtime_folder = /var/run [logger] # 日志运行级别 level = INFO # 主节点故障转移配置 [routing:basic_failover] # 写节点地址 bind_address=172.17.0.2 # 写节点端口 bind_port = 7001 # 模式,读写 mode = read-write # 主节点地址:默认情况下第一台主数据库为写主库,当第一台主数据库DOWN机后,第二台数据库被提升为主库 destinations = 172.17.0.8:3306,172.17.0.9:3306 # 从节点负载均衡配置 [routing:balancing] # 绑定的IP地址 bind_address=172.17.0.2 # 监听的端口 bind_port = 7002 # 连接超时时间 connect_timeout = 3 # 最大连接数 max_connections = 1024 # 后端服务器地址 destinations = 172.17.0.9:3306,172.17.0.10:3306 # 模式:读还是写 mode = read-only [keepalive] interval = 60
- 创建日志目录
mkdir /data/log/mysql-route chown root:root /data/log/mysql-route/
启动 MySQL Router
root@mysql-router:/usr/local/mysql-router/bin# ./mysqlrouter -c /etc/mysql-route/mysqlrouter.conf &
测试读写分离
- 先暂时停掉主从复制
- 在 master 节点插入数据,然后通过 mysql-proxy 查询
- 在 slave 节点插入数据,然后通过 mysql-proxy 查询
验证负载均衡
- 读操作
mysql -h 172.17.0.2 -uroot -P7002 -proot -e "show variables like 'hostname';"
- 写操作
mysql -h 172.17.0.2 -uroot -P7001 -proot -e "show variables like 'hostname';"
测试主主故障切换
- 从库 down 机
- 主库 sown 机
缺陷
在一主多从的情况,如果主库down机,切换到备份节点,其他从库的主库地址连接还是故障的
主库,这样就会造成一个从库slave_io线程connecting状态,造成复制延迟
- 解决方案:
1、在切换时需要自己编写脚本触发一个shell脚本或者event来处理重连的问题。
2、不使用mysql router主主故障转移功能,而是自己使用其他方式保证mysql主库高可用。
image
启动两个mysql镜像,分别映射3306和3316端口
主库:3306端口
备库:3316端口
运行起来,端口分别对应3306,3307
# docker run -p 3306:3306 --name mysql3306 -v /opt/mysql/data/data3306:/var/lib/mysql -v /opt/mysql/logs/logs3306:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7
# docker run -p 3316:3306 --name mysql3316 -v /opt/mysql/data/data3316:/var/lib/mysql -v /opt/mysql/logs/logs3316:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7
image
2.配置主从复制
3306为主,3307为从
从主库的docker容器中把默认的配置文件拷贝出来
进入3306,并查看容器的系统版本
# docker cp 37735c072370:/etc/mysql/mysql.conf.d/mysqld.cnf /opt/mysql/conf/conf3306
修改配置文件增加两行
image
#vim mysqld.cnf
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #设置server-id
发现用的是debian版本的linux,查找下my.cnf在哪
将修改后的配置文件拷回容器里,并重启容器
# docker cp /opt/mysql/conf/conf3306/mysqld.cnf 37735c072370:/etc/mysql/mysql.conf.d/
# docker restart 37735c072370
image
创建主从复制需要的mysql账户,并分配权限
查看my.cnf,发现里面又指向/etc/mysql/mysql.conf.d/mysql.cnf
mysql>CREATE USER 'repl'@'xxx.xxx.xxx.xxx' IDENTIFIED BY 'repl123';
mysql>GRANT REPLICATION SLAVE ON *.* TO 'repl'@'xxx.xxx.xxx.xxx'
cat /etc/mysql/mysql.conf.d/mysqld.cnf
看到
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
#log-error = /var/log/mysql/error.log
# By default we only accept connections from localhost
#bind-address = 127.0.0.1
# Disabling symbolic-
links is recommended to prevent assorted security risks
symbolic-links=0
这是我们熟悉的mysql配置了,我们指定下编码和主服务配置
使用vi的时候,提示not found
root@b5ab3b336918:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf
bash: vi: command not found
apt-get install vim失败。。。不想折腾了,把mysql.conf.d/mysql.cnf的内容复制到window本地来,修改好后,上传到虚拟机,然后docker run 的时候,使用-v 命令,把mysql.cnf映射到mysql容器吧
退出容器,删除容器mysql3306,mysql3307
image
虚拟机上准备好/mysql-3306.cnf,是主库的配置
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
#log-error = /var/log/mysql/error.log
# By default we only accept connections from localhost
#bind-address = 127.0.0.1
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
character-set-server=utf8
default-storage-engine=INNODB
sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION
server-id=1
log_bin=/var/log/mysql/binlog
从库配置/mysql-3307.cnf
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
#log-error = /var/log/mysql/error.log
# By default we only accept connections from localhost
#bind-address = 127.0.0.1
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
character-set-server=utf8
default-storage-engine=INNODB
sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION
server-id=2
log_bin=/var/log/mysql/binlog
innodb_file_per_table=ON
skip_name_resolve=ON
binlog-format=row
log-slave-updates=true
relay_log=/var/log/mysql/relay.log
server-id是唯一的,主从不能相同。
执行下边命令,运行两个mysql镜像
docker run --name mysql3306 -v /mysql-3306.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7
docker run --name mysql3307 -v /mysql-3307.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7
使用navicat连接3306,3307
image
主库3306上查询下SHOW MASTER STATUS
image
从库3307上,停止slave,并配置主库master的连接
image
配置主库连接,使用root用户
CHANGE MASTER TO MASTER_HOST='192.168.174.136',MASTER_USER='root', MASTER_PASSWORD='123456',MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;
注意:MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;要和主库3306上面show master的时候得到的数据一致
从库3307启动start slave
image
查看slave状态
image
配置OK了,接着试试在主库3306上创建数据库、表,看看是否3307也同步
3306上执行
CREATE DATABASE test DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
然后navicat上刷新3307,发现3307上也创建有test库了,说明主从同步OK了,可以接着测试创建表、对表的数据进行增删改进行测试
在这从库配置的时候,还需要stop slave;change XXXX;start slave操作,那如果从库重启了,这主从同步是否仍然有效呢?停止3307,然后在3306上创建表,这是3307停止了,肯定没同步到3307,然后启动3307,再次检查数据,发现3306的表同步过来了,说明从库重启,同步功能然后存在。
CREATE TABLE `user` (
`id` int NOT NULL AUTO_INCREMENT ,
`user_name` varchar(50) NULL ,
PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
;
查看主库状态,记录下File和Position
mysql>SHOW MASTER STATUS;
修改从库配置文件
#vim mysqld.cnf
[mysqld]
server-id=2 #设置server-id
同样拷进从库镜像,并重启容器
mysql中执行配置主库的语句
mysql>change master to master_host='xxx.xxx.xxx.xxx', #Master 服务器Ip
master_port=3306,
master_user='repl',
master_password='repl123',
master_log_file='master-bin.000001',#Master服务器产生的日志
master_log_pos=2986;
mysql>start slave;
mysql>show slave statusG
如果slave_io_running和slave_sql_running都为yes,表示启动同步成功
建立两个客户端连接并创建测试库
主库建立student表并插入一条记录,可以看到,从库自动同步了数据,配置成功
3.用mysql-proxy实现读写分离
下载mysql-proxy
解压并配置mysql-proxy
# tar zxvf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
# cd mysql-proxy-0.8.5-linux-el6-x86-64bit
# vim /etc/mysql-proxy.cnf
[mysql-proxy]
user=root #运行mysql-proxy用户
admin-username=proxy #主从mysql共有的用户
admin-password=proxy123 #共有用户密码
proxy-read-only-backend-addresses=xxx.xxx.xxx.xxx:3316 #备库地址
proxy-backend-addresses=xxx.xxx.xxx.xxx:3306 #主库地址
proxy-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua #指定读写分离配置文件位置
admin-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/admin-sql.lua #指定管理脚本
daemon=true #以守护进程方式运行
keepalive=true #mysql-proxy崩溃时,尝试重启
修改读写分离配置文件
# vim /usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua
min_idle_connections = 1, #默认超过4个连接数时才开始读写分离,改为1
max_idle_connections = 1,
mysql-proxy的bin目录下启动mysql-proxy
# ./mysql-proxy --defaults-file=/etc/mysql-proxy.cnf
主库和从库分别创建用户
mysql>GRANT ALL ON *.* TO 'proxy'@'xxx.xxx.xxx' identified by 'proxy123';
创建mysql-proxy的数据里连接(默认端口4040),可以看到之前验证主从复制时简历的test库和student表
只修改从库的数据,然后通过mysql-proxy查询,可以看到读取的数据是从库修改过的数据,读分离验证成功。
主库:
从库:
mysql-proxy:
停止从库的docker容器,通过mysql-proxy插入一条数据,主库中刷新也有新增的数据,写分离验证成功。
mysql-proxy:
主库:
从库:
至此,mysql的主从复制已经通过mysql-proxy实现读写分离已实现。
本文由葡京网投哪个正规发布于新葡亰-数据,转载请注明出处:proxy实现读写分离,基于docker的mysql主从复制搭建
关键词: