【高并发高性能高可用之海量数据MySQL实战-2】-MySQL文件结构
作者:互联网
MySQL是通过文件系统对数据和索引进行存储的。
MySQL从物理结构上可以分为日志文件和数据索引文件。
MySQL在Linux中的数据索引文件和日志文件通常放在/var/lib/mysql目录下。
1.日志文件(顺序IO)
MySQL通过日志记录了数据库操作信息和错误信息。常用的日志文件包括错误日志、二进制日志、查询日志、慢查询日志和事务Redo 日志、中继日志等。
可以通过命令查看当前数据库中的日志使用信息
mysql> show variables like 'log_%';
1.错误日志(errorlog)
默认是开启的,错误日志记录了运行过程中遇到的所有严重的错误信息,以及 MySQL每次启动和关闭的详细信息。
默认的错误日志名称:hostname.err。
错误日志所记录的信息是可以通过log-error和log-warnings来定义的,其中log-err是定义是否启用错误日志的功能和错误日志的存储位置,log-warnings是定义是否将警告信息也定义至错误日志中。
#可以直接定义为文件路径,也可以为ON|OFF
log_error=/var/log/mysqld.log
#只能使用1|0来定义开关启动,默认是启动的
log_warings=1
2.二进制日志(bin log)
MySQL8中默认是开启的,可以通过以下参数配置文件名:
log-bin=mysql-bin
其中mysql-bin是binlog日志文件的basename,binlog日志文件的完整名称:mysql-bin-000001.log
binlog记录了数据库所有的ddl语句和dml语句,但不包括select语句内容,语句以事件的形式保存,描述了数据的变更顺序,binlog还包括了每个更新语句的执行时间信息。如果是DDL语句,则直接记录到binlog日志,而DML语句,必须通过事务提交才能记录到binlog日志中。
binlog主要用于实现mysql主从复制、数据备份、数据恢复。
3.通用查询日志(general query log)
默认情况下通用查询日志是关闭的。
由于通用查询日志会记录用户的所有操作,其中还包含增删查改等信息,在并发操作大的环境下会产生大量的信息从而导致不必要的磁盘IO,会影响mysql的性能的。如若不是为了调试数据库的目的建议不要开启查询日志。
mysql> show global variables like 'general_log';
开启方式:
#启动开关
general_log={ON|OFF}
#日志文件变量,而general_log_file如果没有指定,默认名是host_name.log
general_log_file=/PATH/TO/file
#记录类型
log_output={TABLE|FILE|NONE}
4.慢查询日志(slow query log)
默认是关闭的。
需要通过以下设置进行开启
#开启慢查询日志
slow_query_log=ON
#慢查询的阈值
long_query_time=10
#日志记录文件如果没有给出file_name值, 默认为主机名,后缀为-slow.log。如果给出了文件名, 但不是绝对路径名,文件则写入数据目录。
slow_query_log_file= file_name
记录执行时间超过long_query_time秒的所有查询,便于收集查询时间比较长的SQL语句
查询多少SQL超过了慢查询时间的阈值:
SHOW GLOBAL STATUS LIKE '%Slow_queries%';
2.数据文件(随机IO)
查看MySQL数据文件:
SHOW VARIABLES LIKE '%datadir%';
1.InnoDB数据文件
.ibd:使用独享表空间存储表数据和索引信息,一张表对应一个ibd文件。在mysql8中,还包含序列化字典信息 (SDI),SDI 是表和表空间对象的序列化元数据。SDI 数据的存在提供了元数据冗余,如果全局数据字典不可用,则可以从表空间文件中提取。可以使用 ibd2sdi 工具将SDI数据从ibd文件中提取出来。
ibdata文件:使用共享表空间存储表数据和索引信息,所有表共同使用一个或者多个ibdata文件。
2.MyIsam数据文件
.sdi文件:主要存放与表相关的元数据信息,主要包括表结构的定义,在InnoDB中SDI保存在表空间文件中的,其他存储引擎将SDI数据存储在为表的数据库目录中的给定表创建的.SDI文件中。
.myd文件:主要用来存储表数据信息。
.myi文件:主要用来存储表数据文件中任何索引的数据树。
3.文件类型
文件 | 说明 |
auto.cnf | 包含 mysql 实例的 uuid 必须是全局唯一,在搭建集群时需要保证唯一。 如果不唯一可以删除,重启服务器会自动生成 |
binlog.index | bin log(二进制日志)的索引文件。 bin-log.0000x 真正的二进制文件。mysql8 中 binlog 默认开启。之前的版本中默认 关闭。 |
*.pem | 秘钥文件,使用 ssl 方式登录 mysql 时需要使用 |
*.dblwr | 双写缓冲区文件。 |
ib_buffer_pool | InnoDB引擎为了提高缓冲池的初始化效率,将 buffer pool 中的内存缓冲到文件中 |
ibdata1 | 系统表空间 |
ib_logfile0、ib_logfile1 | redo log 重做日志。保证数据不丢失的重要文件 |
redo log | 重做日志。保证数据不丢失的重要文件 |
ibtmp1 | 临时表空 |
mysql.ibd | 数据字典文件 |
undo_001、undo_002 | 回滚表空间 |
目录 | 每个数据库对应一个目录。区分大小写 |
.ibd(InnoDB) | 用户表空间文件,每个表对应一个文件。包含表中的数据、索引、元数据(表结构) |
MyIsam 引擎 | .sdi 元数据 .MYD表中的数据 .MYI索引文件 |
如果您觉得文章好看,欢迎点赞收藏加关注,一连三击呀,您的肯定是我持续输出的动力,感谢!!☺☻
标签:文件,log,binlog,海量,mysql,并发,MySQL,日志,数据 来源: https://blog.csdn.net/chongfa2008/article/details/122794399