临沂网站公众号建设,热搜榜百度一下你就知道,旅游网站建设网,想看装修效果图在哪里看MySQL日志管理
MySQL的默认日志保存位置为/usr/local/mysql/data
日志开启方式有两种#xff1a;通过配置文件或者是通过命令
通过命令修改开启的日志是临时的#xff0c;关闭或重启服务后就会关闭
日志的分类
1.错误日志
用来记录当MySQL启动、停止或运行时发生的错误信…MySQL日志管理
MySQL的默认日志保存位置为/usr/local/mysql/data
日志开启方式有两种通过配置文件或者是通过命令
通过命令修改开启的日志是临时的关闭或重启服务后就会关闭
日志的分类
1.错误日志
用来记录当MySQL启动、停止或运行时发生的错误信息默认已开启
vim /etc/my.cnf
log-error/usr/local/mysql/data/mysql_error.log
2.通过查询日志
用来记录MySQL的所有连接和语句默认是关闭的vim /etc/my.cnf
general_logON
general_log_file/usr/local/mysql/data/mysql_general.log
3.二进制日志binlog)
用来记录所有当MySQL启动、停止或运行时发送的错误信息默认是关闭的vim /etc/my.cnf
#也可以 log_binmysql-bin
log-binmysql-bin
4.慢查询日志
用来记录所有执行时间超过long_query_time秒的语句可以找到哪些查询语句执行时间长以便于优化默认是关闭的
慢查询日志也可用来查询哪些搜索的字段超时可以选择是否需要增加索引加快查询速度。vim /etc/my.cnf
slow_query_logON
slow_query_log_file/usr/local/mysql/data/mysql_slow_query.log
long_query_time5日志配置 1. #修改my.cnf配置文件#错误日志
log-error/usr/local/mysql/data/mysql_error.log #通用查询日志
general_logON
general_log_file/usr/local/mysql/data/mysql_general.log#二进制日志
log-binmysql-bin #慢查询日志
slow_query_logON
slow_query_log_file/usr/local/mysql/data/mysql_slow_query.log
long_query_time52. #重新mysql服务
systemctl restart mysqld.service日志查询
1.查看通用查询日志是否开启
mysql -uroot -pqzz1314
show variables like general%;2.查看二进制日志是否开启
show variables like log_bin%;3.查看慢查询日功能是否开启
show variables like %slow%;4.查看慢查询时间设置
show variables like long_query_time;5.在数据库中设置开启慢查询的方法
set global slow_query_logON;
该方法重启服务失效
数据备份
数据备份的重要性
在企业中数据的价值至关重要数据保障了企业业务的正常运行。因此数据的安全性及数据的可靠性是运维的重中之重任何数据的吊事都可能对企业产生严重的后果。 通常情况下造成数据丢失的原因有一下几种
程序错误
人为操作错误
运算错误
磁盘故障
灾难火灾、地震、盗窃等
数据备份的类型
数据备份的类型
从物理与逻辑的角度分类逻辑备份、物理备份 1、物理备份对数据库操作系统的物理文件如数据文件、日志文件等的备份
物理备份方法
1.冷备份脱机备份是在关闭数据库的时候进行的
2.热备份联机备份数据库处于运行状态依赖于数据库的日志文件
3.温备份数据库锁定表格(不可写入但可读)的状态下进行备份操作
2、逻辑备份对数据库逻辑组件如表等数据库对象的备份
从数据库的备份策略角度分类完全备份、差异备份、增量备份
完全备份 每次对数据进行完整的备份即对整个数据库、数据库结构和文件结构的备份保存的是备份完成时刻的数据库是差异备份与增量备份的基础。完全备份的备份与恢复操作都非常简单方便但是数据存在大量的重复并且会占用大量的磁盘空间备份的时间也很长。
差异备份 备份那些自从上次完全备份之后被修改过的所有文件备份的时间节点是从上次完全备份起备份数据量会越来越大。恢复数据时只需恢复上次的完全备份与最近的一次差异备份。
增量备份 只有那些在上次完全备份或者增量备份后被修改的文件才会被备份。以上次完整备份或上次增量备份的时间为时间点仅备份这之间的数据变化因而备份的数据量小占用空间小备份速度快。但恢复时需要从上一次的完整备份开始到最后一次增量备份之的所有增量依次恢复如中间某次的备份数据损坏将导致数据的丢失。
1、完全备份
每次对数据库进行完整的备份每次都进行完全备份会导致文件占用空间巨大并且有大量重复数据
恢复时直接使用完全备份的文件即可
2、差异备份
每次差异备份都会备份上一次完全备份之后的数据可能会出现备份重复数据导致占用额外的磁盘空间
恢复时先恢复完全备份的数据然后在恢复指定的差异备份的数据
3、增量备份
只有在上次完全备份或者增量备份后被修改的文件才会被备份
每次增量备份都是备份在上一次完全备份或者增量备份之后的数据不会出现备份重复的数据情况也不会在占用额外的磁盘空间
恢复时需要按照次序恢复完全备份和增量备份的数据 备份方式比较
备份方式 完全备份差异备份 增量备份完全备份时的状态 表1、表2表1、表2 表1、表2第1次添加内容创建表3 创建表3创建表3备份内容表1、表2、表3表3表3第2次添加内容 创建表4 创建表4 创建表4 备份内容 表1、表2、表3、表4表3、表4表4
常见的备份方法
物理冷备
物理冷备份时需要在数据库处于关闭状态下能够较好地保证数据库的完整性。
物理冷备份一般用于非核心业务这类业务一般都允许中断。
物理冷备份的特点就是速度快恢复时也是最为简单的。
通常通过直接打包数据库文件夹(/usr/local/mysql/data)来实现备份。
专用备份工具mydump或者mysqlhotcopy
mysqldump程序和mysqlhotcopy都可以做备份。
mysqldump是客户端常用逻辑备份程序能够产生一组被执行以后再现原始数据库对象定义和表数据的SQL语句。
它可以转储一个到多个MySQL数据库对其进行备份或传输到远程SQL服务器。
mysqldump更为通用因为它可以备份各种表。
mysqlhotcopy仅适用于某些存储引擎MyISAM和ARCHIVE
通过启用二进制日志进行增量备份
支持增量备份进行增量备份时必须启用二进制日志。
二进制日志文件为用户提供复制对执行备份点后进行的数据库更改所需的信息进行恢复。
如果进行增量备份(包含自上次完全备份或增量备份以来发生的数据修改) 需要刷新二进制日志。
通过第三方工具备份
第三方工具Percona xtraBackup是一个免费的MysQL热备份软件支持在线热备份Innodb和xtraDB也可以支持MyS
MySQL完全备份
是对整个数据库、数据库结构和文件结构的备份
保存的是备份完成时刻的数据库
是差异备份与增量备份的基础优点备份与恢复操作简单方便
缺点数据存在大量的重复、占用大量的备份空间、备份与恢复时间长
mysql完全备份分类
物理冷备份与恢复
关闭MySQL数据库
【如果在进行冷备份的时候忘记关数据库会出现什么情况会导致在那个时间点去备份的时候会遗漏一部分数据没有完全备份所有数据。】使用tar命令直接打包数据库文件夹
【打包的目的就是为了加快速度并且减少磁盘存储空间】直接替换现有MySQL目录即可
mysqldump备份与恢复
MySQL自带的备份工具可方便实现对MySQL的备份
可以将指定的库、表导出为SQL 脚本
使用命令mysq|导入备份的数据
MySQL完全备份与恢复
环境准备
use kgc;
create table if not exists info1 (
id int(4) not null auto_increment,
name varchar(10) not null,
age char(10) not null,
hobby varchar(50),
primary key (id));insert into info1 values(1,user1,20,running);
insert into info1 values(2,user2,30,singing);
物理冷备份与恢复
#停止MySQL服务systemctl stop mysqld
这个命令可以停止MySQL服务以便进行备份。#安装xz压缩工具yum -y install xz
这个命令可以安装xz压缩工具以便对备份文件进行压缩。#备份MySQL数据目录
tar Jcvf /opt/mysql_all_$(date %F).tar.xz /usr/local/mysql/data/systemctl start mysqld#模拟故障
mysql -uroot -p
drop database kgc;#恢复MySQL数据目录
tar Jxvf /opt/mysql_all_2020-11-22.tar.xz -C /usr/local/mysql/data/
cd /usr/local/mysql/data
mv /usr/local/mysql/data/* ./
这个命令可以将备份文件解压缩并将解压后的数据目录移动到MySQL的数据目录下。 mysqldump 备份与恢复温备份
mysqldump备份创建一个测试表create table info2 (id int,name char(10),age int,sex char(4));
insert into info2 values(1,user,11,性别);
insert into info2 values(2,user,11,性别);
这个命令可以创建一个名为info2的测试表并向表中插入两条记录。完全备份一个或多个完整的库 (包括其中所有的表)
mysqldump -u root -p[密码] --databases 库名1 [库名2] ... /备份路径/备份文件名.sql 完全备份一个或多个完整的库
mysqldump -u root -p --databases kgc /opt/kgc.sql
mysqldump -u root -p --databases mysql kgc /opt/mysql-kgc.sql
这个命令可以备份一个或多个完整的库包括其中所有的表。备份文件将保存在指定的备份路径下。完全备份 MySQL 服务器中所有的库mysqldump -u root -p --all-databases /opt/all.sql
这个命令可以备份MySQL服务器中所有的库包括其中所有的表。备份文件将保存在指定的备份路径下。完全备份指定库中的部分表mysqldump -u root -p kgc info1 info2 /opt/kgc_info1.sql
这个命令可以备份指定库中的部分表。备份文件将保存在指定的备份路径下。#注意
#使用-d选项说明只保存数据库的表结构
#不使用-d选项说明表数据也进行备份
#做为一个表结构模板查看备份文件grep -v ^-- /opt/kgc_info1.sql | grep -v ^/ | grep -v ^$
这个命令可以查看备份文件去除备份文件中的注释和空行。mysqldump 恢复
恢复数据库
1.使用mysqldump导出的文件可使用导入的方法
source命令
mysql命令2.使用source恢复数据库的步骤登录到MySQL数据库
执行source备份sql脚本的路径登录进入数据库
mysql -uroot -p
#输入密码
#模拟故障损坏删除指定的库
drop database test1;方法一
#使用source命令恢复
source /opt/test1.sqlshow databases;方法二
使用mysql命令恢复
此方法可实现面交互恢复mysql -uroot -p123456 /opt/test1.sql #恢复test1库
mysql -uroot -p123456 -e show databases; #查看库mysqldump 严格来说属于温备份会需要对表进行写入的锁定
在全量备份与恢复实验中假设现有test1库test1库中有一个zh1表需要注意的一点为一、当备份时加 --databases ,表示针对于test1库#备份命令
mysqldump -uroot -p123456 --databases test1 /opt/test_01.sql 备份库后、#恢复命令过程为
mysql -uroot -p123456
drop database test1;
exit
mysql -uroot -p123456 /opt/test1_01.sql二、当备份时不加 --databases表示针对test1库下的所有表
#备份命令
mysqldump -uroot -p123456 test1 /opt/test1_alltables.sql
#恢复过程
mysql -uroot -p123456
drop database test1;create database test1;
exit
mysql -uroot -p123123 test1 /opt/test1_alltables.sql #查看test1_01.sql 和test1_alltables.sql
主要原因在于两种方式的备份前者会从create databases开始,而后者则全是针对表格进行操作
在生产环境中可以使用Shell脚本自动实现定时备份时间频率需要确认
0 1 * * 6 /usr/local/mysql/bin/mysqldump -uroot -p123456 test1 zh1 ./test1_zh1_$(date %Y%m%d).sql ;/usr/local/mysql/bin/mysqladmin -u root -p123456 flush-logs MySQL 增量备份与恢复
增量备份过程
一、首先进行完全备份(进行增量备份时基于完全备份)
mysqldump -uroot -p123456 test /opt/test_alltables_$(date %F).sql二、可每天进行增量备份操作生成新的二进制日志文件(例如:mysql-bin.000002)
mysqladmin -u root -p123456 flush-logs
#刷新生成新的二进制日志文件三、插入新数据以模拟数据的增加或变更四、再次生成新的二进制日志文件(例如:mysql-bin.000003)
mysqladmin -u root -p flush-logs
增量备份恢复
1、一般恢复
将所有备份的二进制日志内容全部恢复2、基于位置恢复
数据库在某一时间点可能既有错误的操作也有正确的操作
可以基于精准的位置跳过错误的操作
发生错误节点之前的一个节点上一次正确操作的位置点停止3、基于时间点恢复
跳过某个发生错误的时间点实现数据恢复
在错误时间点停止在下一个正确时间点开始 二进制日志
二进制日志(binlog)有3种不同的记录格式: STATEMENT (基于SQL语句)、ROW(基于行)、MIXED(混合模式)默认格式是STATEMENT
STATEMENT基于SQL语句:
每一条涉及到被修改的sql 都会记录在binlog中
缺点日志量过大如sleep()函数last_insert_id()以及user-defined fuctionsudf、主从复制等架构记录日志时会出现问题总结增删改查通过sql语句来实现记录如果用高并发可能会出错可能时间差异或者延迟可能不是我们想想的恢复可能你先删除或者在修改可能会倒过来。准确率底ROW(基于行)
只记录变动的记录不记录sql的上下文环境
缺点:如果遇到update......set....where true 那么binlog的数据量会越来越大总结update、delete以多行数据起作用来用行记录下来只记录变动的记录不记录sql的上下文环境
比如sql语句记录一行但是ROW就可能记录10行但是准确性高高并发的时候由于操作量性能变低 比较大所以记录都记下来MIXED (混合)推荐使用
一般的语句使用statement函数使用ROW方式存储。
开启二进制日志
开启二进制日志功能
vim /etc/my.cnf
[mysqld]
log-binmysql-bin
binlog_format MIXED #可选指定二进制日志(binlog)的记录格式为MIXED混合输入
server-id 1 #可加可不加该命令systemctl restart mysqld #重启后在/usr/local/mysql/data 目录下会生成二进制日志文件mysql-bin.000001
查看二进制日志文件的内容
cp /usr/local/mysql/data/mysql-bin.000001 /opt/mysqlbinlog --no-defaults --base64-outputdecode-rows -v /opt/mysql-bin.000001#--base64-outputdecode-rows使用64位编码机制去解码decode并按行读取rows
#-v: 显示详细内容
#--no-defaults : 默认字符集不加会报UTF-8的错误PS: 可以将解码后的文件导出为txt格式方便查阅
mysqlbinlog --no-defaults --base64-outputdecode-rows -v /opt/mysql-bin.000001 /opt/mysql-bin.000001
二进制日志中需要关注的部分
1、at 开始的位置点 2、end_log_pos结束的位置3、时间戳 230828 11:50:30 4、SQL语句
