mysql binlog相关知识点有哪些

54次阅读
没有评论

共计 7370 个字符,预计需要花费 19 分钟才能阅读完成。

本篇内容主要讲解“mysql binlog 相关知识点有哪些”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让丸趣 TV 小编来带大家学习“mysql binlog 相关知识点有哪些”吧!

1.
–  逻辑日志, 记录的是数据库内部的所有变动(sql 语句   行的改变)
– server 层日志,binlog 不仅仅记录 innodb 的变动,也记录 myisam 存储引擎的变动。
– innodb redo 是存储引擎层,和 binlog 不是一层,redo 只记录 innodb 的变化。
– binlog 不记录 select show 等查询语句, 记录 dml ddl 等数据库变动的语句.

2.binlog 的作用
– 可以查看 mysql 变更
– mysql 的复制架构(主从)
– mysql 备份恢复(可以通过 binlog 进行数据的补齐或者回滚)

3.binlog 的位置
log_bin = /home/mysql3306/mysql3306/mysql-bin
#binlog 路径 +binlog 前缀名 如:mysql-bin.000001

4. 相关参数简介
(1).log-bin
决定了 msyql 的 binlog 的名字,生成的 binlog 名字为 mysql-bin.000001

(2).binlog_format
规定 binlog 的格式,binlog 有三种格式 statement,row 以及 mixed,默认使用默认使用 statement,建议使用 row 格式

(3).expire_logs_days
过期时间   建议大家根据业务设置 7D-30D

(4).binlog_do_db
此参数表示只记录指定数据库的二进制日志

(5).binlog_ignore_db
此参数表示不记录指定的数据库的二进制日志

(6).sync_binlog(binlog 落盘策略)
0— 每一秒刷一次磁盘
1— 每次事务提交都刷一次磁盘
n—(100 200 500)每 n 次提交落盘一次
innodb_flush_log_at_trx_commit =1 
sync_binlog=1
双 1 配置,数据库的安全性是最高的,不会丢事务。

(7).binlog_checksum 为 {CRC32|NONE}
写 binlog 时,会将内容生成校验位,之后存储在 binlog 中。
默认情况下,服务器记录事件的长度以及事件本身,并使用它来验证事件是否正确写入。也可以通过设置 binlog_checksum 系统变量来使服务器为事件写入校验和。

(8).max_binlog_size
binlog 文件的最大值,默认和最大是 1GB,并不能严格限定二进制文件的大小

(9).max_binlog_cache_size
表示的是 binlog 能够使用的最大 cache 内存大小
当我们执行多语句事务的时候 所有 session 的使用的内存超过 max_binlog_cache_size 的值时
就会报错:“Multi-statement transaction required more than max_binlog_cache_size bytes ofstorage”

(10).binlog_cache_size = 4M
线程级参数,不能设置太大

5.binlog 格式
(1).statement
mysql show variables like %binlog_format%
+—————+———–+
| Variable_name | Value     |
+—————+———–+
| binlog_format | STATEMENT |
+—————+———–+

执行语句:
insert into wwj.t1 values(2, mxt2
insert into wwj.t1 values(3, mxt3
insert into wwj.t1 values(4, mxt4

查看 binlog

点击 (此处) 折叠或打开

mysql show binlog events;

+——————+—–+—————-+———–+————-+—————————————+

| Log_name         | Pos | Event_type     | Server_id | End_log_pos | Info                                  |

+——————+—–+—————-+———–+————-+—————————————+

| mysql-bin.000001 |   4 | Format_desc    |  12023307 |         123 | Server ver: 5.7.21-log, Binlog ver: 4 |

| mysql-bin.000001 | 123 | Previous_gtids |  12023307 |         154 |                                       |

| mysql-bin.000001 | 154 | Anonymous_Gtid |  12023307 |         219 | SET @@SESSION.GTID_NEXT= ANONYMOUS  |

| mysql-bin.000001 | 219 | Query          |  12023307 |         293 | BEGIN                                 |

| mysql-bin.000001 | 293 | Query          |  12023307 |         398 | insert into wwj.t1 values(13, mxt3)  |

| mysql-bin.000001 | 398 | Xid            |  12023307 |         429 | COMMIT /* xid=275 */                  |

| mysql-bin.000001 | 429 | Anonymous_Gtid |  12023307 |         494 | SET @@SESSION.GTID_NEXT= ANONYMOUS  |

| mysql-bin.000001 | 494 | Query          |  12023307 |         568 | BEGIN                                 |

| mysql-bin.000001 | 568 | Query          |  12023307 |         673 | insert into wwj.t1 values(14, mxt4)  |

| mysql-bin.000001 | 673 | Xid            |  12023307 |         704 | COMMIT /* xid=276 */                  |

+——————+—–+—————-+———–+————-+—————————————+

Log_name:binlog 文件名
Pos:binlog 的 position 点,写入 binlog 的日志的字节数,就是 pos 的大小,在每次新生成 binlog 的时候,pos 点会重置,但是在一个 binlog 内部,这个 pos 是单调递增的。
xid:分布式事务 ID,Innodb 支持分布式事务,Innodb 支持的单实例内部的,server 层和存储引擎层的分布式事务,还有多节点分布式事务(ndb)
Server_id:实例 server_id

解析 binlog 工具
/usr/local/mysql/bin/mysqlbinlog mysql-bin.000001 /tmp/all.bin

点击 (此处) 折叠或打开

# at 293

#180325  4:14:20 server id 12023307  end_log_pos 398 CRC32 0xb9d2f949   Query   thread_id=14    exec_time=0     error_code=0

SET TIMESTAMP=1521922460/*!*/;

insert into wwj.t1 values(13, mxt3)

/*!*/;

# at 398

查看当前的 binlog pos 点的位置
mysql show master status;
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect…
Connection id:    15
Current database: *** NONE ***
+——————+———-+————–+——————+——————-+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+——————+———-+————–+——————+——————-+
| mysql-bin.000001 |      704 |              |                  |                   |
+——————+———-+————–+——————+——————-+

应用 binlog
/usr/local/mysql/bin/mysqlbinlog mysql-bin.000001 /tmp/all.bin
mysql -uroot -proot -S /tmp/mysql3306.sock /tmp/all.bin
mysql source /tmp/all.bin

应用 binlog 需要注意的事项
如果应用多个 binlog
错误做法
mysqlbinlog mysql-bin.000001 | mysql -S -u -p
mysqlbinlog mysql-bin.000002 | mysql -S -u -p
正确做法
mysqlbinlog mysql-bin.000001 mysql-bin.000002 | mysql -S -u -p
或者
mysqlbinlog mysql-bin.000001 mysql-bin.000002 /tmp/all.bin
mysql -S -u -p /tmp/all.bin

(2).row
mysql show variables like binlog_format
+—————+——-+
| Variable_name | Value |
+—————+——-+
| binlog_format | ROW   |
+—————+——-+

row 格式 binlog:row 格式 binlog 记录的是 mysql 的行的改变前后的数据
比如在 stament 格式中,update 数据,记录的是 update 语句
而且 row 格式中,记录的行的改变的前后,如果 update1000 数据,记录一千行的数据改变

mysqlbinlog -v  mysql-bin.000001 /tmp/all.bin   增加伪 sql
mysqlbinlog -vv  mysql-bin.000001 /tmp/all.bin   增加数据类型

点击 (此处) 折叠或打开

# at 334

#180325  5:51:04 server id 12023307  end_log_pos 458 CRC32 0x1be59376   Delete_rows: table id 108 flags: STMT_END_F

BINLOG

SMi2WhMLdrcALwAAAE4BAAAAAGwAAAAAAAEAA3d3agACdDEAAgMPArQAAsKvIYM=

SMi2WiALdrcAfAAAAMoBAAAAAGwAAAAAAAEAAgAC//wBAAAAA3d3avwCAAAABG14dDL8AwAAAARt

eHQz/AQAAAAEbXh0NPwFAAAABG14dDL8BgAAAARteHQz/AcAAAAEbXh0NPwNAAAABG14dDP8DgAA

AARteHQ0dpPlGw==

/*!*/;

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=1 /* INT meta=0 nullable=0 is_null=0 */

###   @2= wwj /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=2 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt2 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=3 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt3 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=4 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt4 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=5 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt2 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=6 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt3 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=7 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt4 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=13 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt3 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

### DELETE FROM `wwj`.`t1`

### WHERE

###   @1=14 /* INT meta=0 nullable=0 is_null=0 */

###   @2= mxt4 /* VARSTRING(180) meta=180 nullable=1 is_null=0 */

# at 458

其他解析方法
解析不带行数据
/usr/local/mysql/bin/mysqlbinlog –base64-output=DECODE-ROWS -vv mysql-bin.000001
如果 binlog 解析出来需要恢复到数据库,那么需要注意不要加 –base64-output=DECODE-ROWS。
/usr/local/mysql/bin/mysqlbinlog
start-datetime   开始时间
stop-datetime   停止时间
/usr/local/mysql/bin/mysqlbinlog –start-datetime= 2017-04-20 9:00:00 –stop-datetime= 2017-07-20 18:00:00 /home/mysql3306/mysql3306/mysql-bin.000001 /tmp/mysql_binlog.sql
start-position   开始时间的 position
stop-position   停止时间的 position

row 格式优点:
- 记录行改变,而不是 SQL,能最大限度保证数据安全性
-row 格式可以用于闪回(恢复数据)
在线上的环境中,推荐使用 row 格式的 binlog
-row 格式 update delete 会对磁盘 网络造成一个比较大的压力

(3).mixed
一般情况下使用 statment 格式,在遇到特殊情况(造成主从不一致)改成使用 row 格式记录。
mixed 格式在旧版本 bug 比较多
不推荐使用

6. 清理 binlog
 reset master; // 删除 master 的 binlog,线上不要使用
 purge master logs before 2012-03-30 17:20:00 // 删除指定日期以前的日志索引中 binlog 日志文件
 purge master logs to binlog.000002 // 删除指定日志文件的日志索引中 binlog 日志文件

如果想直接删除 binlog
rm binlog.000002 
(不要删除当前正在使用的 binlog,也就是编号最大的 binlog)
[root@namenode mysql3306]# cat mysql-bin.index     不会自动更新
/home/mysql3306/mysql3306/mysql-bin.000001
/home/mysql3306/mysql3306/mysql-bin.000002
主从复制如果删掉了,容易从库报错(保证从库不再同步该 binlog 的数据)

7.binlog 和 redo 的区别
– redo 物理逻辑日志 物理:数据页 逻辑:数据页的改变
  binlog 是逻辑日志 记录的 SQL 或者是行改变
– redo 是 innodb 存储引擎层
   binlog 是 server 层
– redo 时时刻刻都在写入文件
   binlog 是 提交事务的写入(具体写入策略跟具体参数有关)

到此,相信大家对“mysql binlog 相关知识点有哪些”有了更深的了解,不妨来实际操作一番吧!这里是丸趣 TV 网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-07-20发表,共计7370字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)