逐梦论坛's Archiver

shillan 发表于 2016-4-27 01:54

MySQL主从同步主键重复Duplicate entry自动解决

[b]方法一：[/b]修改从库的 my.cnf（etc/my.cnf），在[mysqld]下面加入一行：[code]slave-skip-errors = 1062[/code](忽略所有的1062错误)
然后重启从库的mysql服务。
[b]方法二：[/b]修改从库的 my.cnf（etc/my.cnf），在[mysqld]下面加入一行：[code]binlog_format=mixed[/code]还是[code]binlog_format=row？[/code]然后重启从库的mysql服务。

shillan 发表于 2016-4-27 01:58

MYSQL主从同步故障解决(主键重复)

[font=Arial][size=13.3333px]  公司里有两个mysql服务器做主从同步，某天Nagios发来报警短信，[/size][/font][font=Arial][size=13.3333px]mysqla is down[/size][/font][font=Arial][size=13.3333px]...赶紧联系机房，机房的人反馈来的信息是 [/size][/font][font=Arial][size=13.3333px]HARDWARE ERROR[/size][/font][font=Arial][size=13.3333px] 后面信息省略，让机房记下错误信息后让他们帮忙重启下看是不是能正常起来，结果竟然正常起来了，赶紧导出所有数据。[/size][/font]
[font=Arial][size=13.3333px]   问题又出现了，nagios 又报警，mysql_AB error，检查从库[/size][/font]
[font=Arial][size=13.3333px]show slave status /G;[/size][/font][font=Arial][size=13.3333px] 果然 [/size][/font]
[font=Arial][size=13.3333px]Slave_IO_Running: Yes[/size][/font]
[font=Arial][size=13.3333px]Slave_SQL_Running: No[/size][/font]
[font=Arial][size=13.3333px]而且出现了[/size][/font][font=Arial][size=13.3333px]1062[/size][/font][font=Arial][size=13.3333px]错误，还提示 [/size][/font]
[font=Arial][size=13.3333px]Last_SQL_Error: Error 'Duplicate entry '1001-164761-0' for key 'PRIMARY'' on query. Default database: 'bug'. Query: 'insert into misdata (uid,mid,pid,state,mtime) values (164761,1001,0,-1,1262623560)'[/size][/font]
[font=Arial][size=13.3333px]很显然，由于主库重启导致 从库数据不同步而且主键冲突。查看error 日志发现error日志文件变得好大，比以前大了将近好几倍，[/size][/font]
[font=Arial][size=13.3333px]tail -f mysql_error.log 最开始查看到的是这条信息[/size][/font]
[font=Arial][size=13.3333px]发现这条信息[/size][/font]

[font=Arial][size=13.3333px][ERROR] Slave SQL: Error 'Duplicate entry '1007-443786-0' for key 'PRIMARY'' on query. Default database: 'ufo'. Query: 'insert into misdata (uid,mid,pid,sta[/size][/font]
[font=Arial][size=13.3333px]te,mtime) values (443786,1007,0,-1,1262598003)', Error_code: 1062[/size][/font]
[font=Arial][size=13.3333px]100104 17:39:05 [Warning] Slave: Duplicate entry '1007-443786-0' for key 'PRIMARY' Error_code: 1062[/size][/font]
[font=Arial][size=13.3333px]100104 17:39:05 [ERROR] Error running query, slave SQL thread aborted. Fix the problem, and restart the slave SQL thread with "SLAVE START". We stopped at log 'ufolog.000058[/size][/font]
[font=Arial][size=13.3333px]8' position 55793296[/size][/font]
[font=Arial][size=13.3333px]报错和上面的意思差不多，[/size][/font]

[font=Arial][size=13.3333px]最先想到的就是首先手动同步一下，从库上首先[/size][/font][font=Arial][size=13.3333px] stop slave;[/size][/font][font=Arial][size=13.3333px]停止同步[/size][/font]
[font=Arial][size=13.3333px]进入主库锁表，[/size][/font]
[font=Arial][size=13.3333px]FLUSH TABLES WITH READ LOCK；[/size][/font]
[font=Arial][size=13.3333px]mysql> [/size][/font][font=Arial][size=13.3333px]show master status;[/size][/font]
[font=Arial][size=13.3333px]+-------------------+-----------+--------------+------------------+[/size][/font]
[font=Arial][size=13.3333px]| File              | Position  | Binlog_Do_DB | Binlog_Ignore_DB |[/size][/font]
[font=Arial][size=13.3333px]+-------------------+-----------+--------------+------------------+[/size][/font]
[font=Arial][size=13.3333px]| ufo.000063 | 159164526 |              |                  |[/size][/font]
[font=Arial][size=13.3333px]+-------------------+-----------+--------------+------------------+[/size][/font]
[font=Arial][size=13.3333px]1 row in set (0.00 sec)[/size][/font]
[font=Arial][size=13.3333px]进入从库[/size][/font]
[font=Arial][size=13.3333px]mysql>change master to master_host='192.168.1.141', master_user='slave', [/size][/font]
[font=Arial][size=13.3333px]master_password='xxx', [/size][/font]
[font=Arial][size=13.3333px]master_port=3306, [/size][/font]
[font=Arial][size=13.3333px]master_log_file='ufo.000063', [/size][/font]
[font=Arial][size=13.3333px]master_log_pos=159164526;[/size][/font]

[font=Arial][size=13.3333px]完成上面这些后[/size][/font]
[font=Arial][size=13.3333px]start slave;[/size][/font]
[font=Arial][size=13.3333px]回到主库[/size][/font]
[font=Arial][size=13.3333px]unlock tables; [/size][/font][font=Arial][size=13.3333px]解锁[/size][/font]

[font=Arial][size=13.3333px]回到从库 查看[/size][/font]
[font=Arial][size=13.3333px]show slave status /G;[/size][/font]
[font=Arial][size=13.3333px]发现正常了，长处了一口气。可是还没过一分钟，发现又开始报错了，还是最开始那个错误，这是怎么回事...[/size][/font]
[font=Arial][size=13.3333px]于是又想到了跳过错误的办法，（不过我不太喜欢用这种方法）马上进入从库[/size][/font]
[font=Arial][size=13.3333px]stop slave; [/size][/font]
[font=Arial][size=13.3333px]set global sql_slave_skip_counter=1; [/size][/font][font=Arial][size=13.3333px]（1是指跳过一个错误）[/size][/font]
[font=Arial][size=13.3333px]slave start;[/size][/font]
[font=Arial][size=13.3333px]再[/size][/font][font=Arial][size=13.3333px]show slave status /G[/size][/font][font=Arial][size=13.3333px];查看[/size][/font]
[font=Arial][size=13.3333px]还是报错 只不过 原来的 164761 变成了 165881，连续执行了几次后[/size][/font]
[font=Arial][size=13.3333px]除了上面的数值 在变，错误依然还在[/size][/font]
[font=Arial][size=13.3333px]郁闷了，看来只能先强制跳过 1062错误了，于是修改从库的/etc/my.cnf文件[/size][/font]
[font=Arial][size=13.3333px]在里面的[/size][/font][font=Arial][size=13.3333px][mysqld][/size][/font][font=Arial][size=13.3333px]下面加入了一行[/size][/font]
[font=Arial][size=13.3333px]slave-skip-errors = 1062[/size][/font][font=Arial][size=13.3333px] (忽略所有的1062错误)[/size][/font]
[font=Arial][size=13.3333px]重启下从库的[/size][/font][font=Arial][size=13.3333px]mysql /etc/init.d/mysqld restart[/size][/font]
[font=Arial][size=13.3333px]再 [/size][/font][font=Arial][size=13.3333px]show slave status /G;[/size][/font][font=Arial][size=13.3333px]一下发现正常了，但是我知道这时的数据可能已经不同步了，[/size][/font]
[font=Arial][size=13.3333px]再次查看一下日志，让我感到意外的是[/size][/font][font=Arial][size=13.3333px]tail -f mysql_error.log[/size][/font][font=Arial][size=13.3333px] 出现大量的[/size][/font]
[font=Arial][size=13.3333px][color=#000].......[/color]
100106 16:54:21 [Warning] Statement may not be safe to log in statement format. Statement: delete from `system_message_1` where `to_uid` = 181464 ORDER BY `id` ASC LIMIT 1[/size][/font]
[font=Arial][size=13.3333px].........[/size][/font]
[font=Arial][size=13.3333px]日志里面有大量的这种警告，意思应该是statement 格式不安全，用vim 打开他看了一下，发现好多这类警告，我说为什么错误日志怎么变这么大了呢！！[/size][/font]
[font=Arial][size=13.3333px]statement format[/size][/font][font=Arial][size=13.3333px] 应该是 binlog的一种格式，进入从库查看一下[/size][/font]
[font=Arial][size=13.3333px]show global variables like 'binlog_format';[/size][/font]
[font=Arial][size=13.3333px]果然当前的格式为[/size][/font][font=Arial][size=13.3333px]statement [/size][/font]

[font=Arial][size=13.3333px]我需要把格式改为 [/size][/font][font=Arial][size=13.3333px]mixed[/size][/font][font=Arial][size=13.3333px]格式[/size][/font]
[font=Arial][size=13.3333px]修改[/size][/font][font=Arial][size=13.3333px]从库的 my.cfg[/size][/font]
[font=Arial][size=13.3333px]在[/size][/font][font=Arial][size=13.3333px][mysqld][/size][/font][font=Arial][size=13.3333px]下面加入下面这行[/size][/font]
[font=Arial][size=13.3333px]binlog_format=mixed[/size][/font]

[font=Arial][size=13.3333px]然后重启mysql服务，发现错误日志里的 警告 都停止了。这回清静多了~~[/size][/font]

[font=Arial][size=13.3333px]我突然想起一件事，记得有朋友说过 RBR 模式可以解决很多因为主键冲突导致的主从无法同步情况，想到这里我就想要不要把 slave-skip-errors = 1062 去掉再试试，[/size][/font]
[font=Arial][size=13.3333px]于是就进入到my.cnf 里在注释掉了 slave-skip-errors = 1062[/size][/font]
[font=Arial][size=13.3333px]再次重新启动 mysql服务[/size][/font]
[font=Arial][size=13.3333px]进入从库[/size][/font]
[font=Arial][size=13.3333px]show slave status /G;[/size][/font]
[font=Arial][size=13.3333px].........               [/size][/font]
[font=Arial][size=13.3333px]Slave_IO_Running: Yes[/size][/font]
[font=Arial][size=13.3333px]Slave_SQL_Running: Yes[/size][/font]
[font=Arial][size=13.3333px]........[/size][/font]

[font=Arial][size=13.3333px]恢复了！！！有观察了一段时间没有出现问题这才放心，[/size][/font]

[font=Arial][size=13.3333px]看来导致 mysql 主从复制出错的原因还真不少修复的办法也不止一个，binlog的格式也是其中之一。[/size][/font]
[font=Arial][size=13.3333px]希望遇到和这次一样问题的朋友看到这篇文章后会得到 一些启发和解决问题的方法~~[/size][/font]
[p=28, 2, left]本文出自 “[url=http://storysky.blog.51cto.com/]story的天空[/url]” 博客，请务必保留此出处[url=http://storysky.blog.51cto.com/628458/259280]http://storysky.blog.51cto.com/628458/259280[/url][/p]

shillan 发表于 2016-4-27 02:00

MYSQL复制的几种模式

MySQL 5.1 中，在复制方面的改进就是引进了新的复制技术：基于行的复制。

MYSQL复制的几种模式

MySQL 5.1 中，在复制方面的改进就是引进了新的复制技术：基于行的复制。
简言之，这种新技术就是关注表中发生变化的记录，而非以前的照抄 binlog 模式。
从 MySQL 5.1.12 开始，可以用以下三种模式来实现：
-- 基于SQL语句的复制(statement-based replication, SBR)，
-- 基于行的复制(row-based replication, RBR)，
-- 混合模式复制(mixed-based replication, MBR)。
相应地，binlog的格式也有三种：STATEMENT，ROW，MIXED。 MBR 模式中，SBR 模式是默认的。

在运行时可以动态低改变binlog的格式，除了以下几种情况：
. 存储过程或者触发器中间
. 启用了NDB
. 当前会话试用 RBR 模式，并且已打开了临时表

如果binlog采用了 MIXED 模式，那么在以下几种情况下会自动将binlog的模式由 SBR 模式改成 RBR 模式。
. 当DML语句更新一个NDB表时
. 当函数中包含 UUID() 时
. 2个及以上包含 AUTO_INCREMENT 字段的表被更新时
. 行任何 INSERT DELAYED 语句时
. 用 UDF 时
. 视图中必须要求使用 RBR 时，例如创建视图是使用了 UUID() 函数

设定主从复制模式的方法非常简单，只要在以前设定复制配置的基础上，再加一个参数：
binlog_format="STATEMENT"
#binlog_format="ROW"
#binlog_format="MIXED"
当然了，也可以在运行时动态修改binlog的格式。例如
mysql> SET SESSION binlog_format = 'STATEMENT';
mysql> SET SESSION binlog_format = 'ROW';
mysql> SET SESSION binlog_format = 'MIXED';
mysql> SET GLOBAL binlog_format = 'STATEMENT';
mysql> SET GLOBAL binlog_format = 'ROW';
mysql> SET GLOBAL binlog_format = 'MIXED';

两种模式各自的优缺点：

SBR 的优点：
历史悠久，技术成熟
binlog文件较小
binlog中包含了所有数据库更改信息，可以据此来审核数据库的安全等情况
binlog可以用于实时的还原，而不仅仅用于复制
主从版本可以不一样，从服务器版本可以比主服务器版本高

SBR 的缺点：
不是所有的UPDATE语句都能被复制，尤其是包含不确定操作的时候。
调用具有不确定因素的 UDF 时复制也可能出问题
使用以下函数的语句也无法被复制：
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非启动时启用了 --sysdate-is-now 选项)
INSERT ... SELECT 会产生比 RBR 更多的行级锁
复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时，需要比 RBR 请求更多的行级锁
对于有 AUTO_INCREMENT 字段的 InnoDB表而言，INSERT 语句会阻塞其他 INSERT 语句
对于一些复杂的语句，在从服务器上的耗资源情况会更严重，而 RBR 模式下，只会对那个发生变化的记录产生影响
存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数，这个可以说是坏事也可能是好事
确定了的 UDF 也需要在从服务器上执行
数据表必须几乎和主服务器保持一致才行，否则可能会导致复制出错
执行复杂语句如果出错的话，会消耗更多资源

RBR 的优点：
任何情况都可以被复制，这对复制来说是最安全可靠的
和其他大多数数据库系统的复制技术一样
多数情况下，从服务器上的表如果有主键的话，复制就会快了很多
复制以下几种语句时的行锁更少：
* INSERT ... SELECT
* 包含 AUTO_INCREMENT 字段的 INSERT
* 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
执行 INSERT，UPDATE，DELETE 语句时锁更少
从服务器上采用多线程来执行复制成为可能

RBR 的缺点：
binlog 大了很多
复杂的回滚时 binlog 中会包含大量的数据
主服务器上执行 UPDATE 语句时，所有发生变化的记录都会写到 binlog 中，而 SBR 只会写一次，这会导致频繁发生 binlog 的并发写问题
UDF 产生的大 BLOB 值会导致复制变慢
无法从 binlog 中看到都复制了写什么语句(加密过的)
当在非事务表上执行一段堆积的SQL语句时，最好采用 SBR 模式，否则很容易导致主从服务器的数据不一致情况发生
另外，针对系统库 mysql 里面的表发生变化时的处理规则如下：
如果是采用 INSERT，UPDATE，DELETE 直接操作表的情况，则日志格式根据 binlog_format 的设定而记录
如果是采用 GRANT，REVOKE，SET PASSWORD 等管理语句来做的话，那么无论如何都采用 SBR 模式记录
注：采用 RBR 模式后，能解决很多原先出现的主键重复问题。

实例:
对于insert into db_allot_ids select * from db_allot_ids 这个语句:
在BINLOG_FORMAT=STATEMENT 模式下:
BINLOG日志信息为:
-----------------------------------------
BEGIN
/*!*/;
# at 173
#090612 16:05:42 server id 1 end_log_pos 288 Query thread_id=4 exec_time=0 error_code=0
SET TIMESTAMP=1244793942/*!*/;
insert into db_allot_ids select * from db_allot_ids
/*!*/;
-----------------------------------------

在BINLOG_FORMAT=ROW 模式下:
BINLOG日志信息为:
-----------------------------------------
BINLOG '
hA0yShMBAAAAMwAAAOAAAAAAAA8AAAAAAAAAA1NOUwAMZGJfYWxsb3RfaWRzAAIBAwAA
hA0yShcBAAAANQAAABUBAAAQAA8AAAAAAAEAAv/8AQEAAAD8AQEAAAD8AQEAAAD8AQEAAAA=
'/*!*/;

页: [1]

Powered by Discuz! Archiver 7.2  © 2001-2009 Comsenz Inc.