跳到主要内容 MySQL 索引核心原理与操作实战 | 极客日志
SQL 算法
MySQL 索引核心原理与操作实战 本文深入讲解 MySQL 索引原理,包括 Page 管理、B+ 树结构优势、聚簇与非聚簇索引区别,以及主键、唯一、普通、复合及全文索引的创建与操作规范。重点阐述了 B+ 树相较于其他数据结构的 IO 优化特性,详细说明了 InnoDB 与 MyISAM 在索引存储上的差异,并提供了各类索引的实际 SQL 操作示例及最佳实践原则。
索引理解
MySQL 对 page 做管理
page 的概念
MySQL 中存在大量的 page,mysql 需要将多个 page 管理起来。
先组织,再描述,用链表管理单个 page 和多个 page。
不能简单地认为 page 是一个内存块,page 内部也是要写入管理信息的。
单个 page
MySQL 中要管理很多数据表文件,而要管理好这些文件,就需要先描述,在组织 。我们目前可以简单理解成一个个独立文件是有一个或者多个 Page 构成的。
不同的 Page,在 MySQL 中,都是 16KB,使用 prev 和 next 构成双向链表。
为什么 mysql 在插入数据时要给我们排序呢?因为有主键的问题,MySQL 会默认按照主键给我们的数据进行排序 。从上面的 Page 内数据记录可以看出,数据是有序且彼此关联的。
插入数据时排序的目的,就是优化查询的效率。
页内部存放数据的模块,实质上也是一个链表的结构,链表的特点也就是增删快,查询修改慢,所以优化查询的效率是必须的。
正式因为有序,在查找的时候,从头到后都是有效查找,没有任何一个查找是浪费的,而且,如果运气好,是可以提前结束查找过程的。
多个 page
通过上面的分析,我们知道,上面页模式中,只有一个功能,就是在查询某条数据的时候直接将一整页的数据加载到内存中 ,以减少硬盘 IO 次数,从而提高性能。
在 page 中是按照链表的从前往后查找的,效率就太低了。
页目录
一本书通常会有一个目录,目录就是用空间换时间的做法,通过目录的查找可以快速定位要查找的关键字的位置,大大地提高了效率。
单页情况(提高 page 内部的查找的效率)
那么当前,在一个 Page 内部,我们引入了目录。比如,我们要查找 id=4 记录,之前必须线性遍历 4 次,才能拿到结果。现在直接通过目录 2[3],直接进行定位新的起始位置,提高了效率。现在我们可以再次正式回答上面的问题了,为何通过键值 MySQL 会自动排序?可以很方便引入目录 。
单页情况就是一个 page,在 page 内部引入目录。
多页情况(提高 page 间的查找效率)
在单表数据不断被插入的情况下,MySQL 会在容量不足的时候,自动开辟新的 Page 来保存新的数据,然后通过指针的方式,将所有的 Page 组织起来 。
微信扫一扫,关注极客日志 微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
相关免费在线工具 加密/解密文本 使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
SQL 美化和格式化 在线格式化和美化您的 SQL 查询(它支持各种 SQL 方言)。 在线工具,SQL 美化和格式化在线工具,online
SQL 转 CSV/JSON/XML 解析 INSERT 等受限 SQL,导出为 CSV、JSON、XML、YAML、HTML 表格(见页内语法说明)。 在线工具,SQL 转 CSV/JSON/XML在线工具,online
CSV 工具包 CSV 与 JSON/XML/HTML/TSV/SQL 等互转,单页多 Tab。 在线工具,CSV 工具包在线工具,online
Base64 字符串编码/解码 将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
Base64 文件转换器 将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
如果有很多页的 page,通过线性遍历,效率还是很低的,这样多页 page 也需要引入目录。
使用一个目录项来指向某一页,而这个目录项存放的就是将要指向的页中存放的最小数据的键值。
和页内目录不同的地方在于,这种目录管理的级别是页,而页内目录管理的级别是行。
其中,每个目录项的构成是:键值 + 指针 。图中没有画全。
存在一个目录页来管理页目录,目录页中的数据存放的就是指向的那一页中最小的数据。有数据,就可通过比较,找到该访问那个 Page,进而通过指针,找到下一个 Page。
最底层的叶子节点的目录页存的是用户的数据,中间的节点存的是目录页的地址。
如果叶子结点非常多,需要更多的目录页,那就多加几层,就可以存放更多的叶子目录页。
这就是 B+ 树,一个分支有多个树。
B+ 树,不一定是全的,需要哪些会加载那些 page 进来。
叶子节点用 B+ 树连接起来,非叶子节点不用 B+ 树连接起来是为什么呢?
a. 这是 B+ 树的特点。
b. 我们比较希望进行范围查找。
复盘一下
Page 分为目录页和数据页。目录页只放各个下级 Page 的最小键值。
查找的时候,自定向下找,只需要加载部分目录页到内存,即可完成算法的整个查找过程,大大减少了 IO 次数 。
为什么选择 B+ 树,不选择其他数据结构呢
链表?线性遍历,效率太慢。
二叉搜索树?退化问题,可能退化成为线性结构。
AVL 和红黑树,是二叉结构的数,是又瘦又高的树,要进行多次的 IO 操作,导致效率的下降。
Hash?官方的索引实现方式中,MySQL 是支持 HASH 的,不过 InnoDB 和 MyISAM 并不支持。Hash 跟进其算法特征,决定了虽然有时候也很快 (O(1)),不过,在面对范围查找就明显不行 。
B 树节点,既有数据,又有 Page 指针,而 B+,只有叶子节点有数据,其他目录页,只有键值和 Page 指针。
B+ 叶子节点,全部相连,而 B 没有。
节点不存储 data,这样一个节点就可以存储更多的 key。可以使得树更矮,所以 IO 操作次数更少。
叶子节点相连,更便于进行范围查找。
聚簇索引 VS 非聚簇索引
MyISAM 存储引擎 - 主键索引,也使用 B+ 树,叶子节点的数据域存放的是数据记录的地址。
MyISAM 最大的特点是,将索引 Page 和数据 Page 分离,也就是叶子节点没有数据,只有对应数据的地址。
InnoDB 索引,InnoDB 是将索引和数据放在一起的。
聚簇索引:对应的是 InnoDB 的存储方式。
非聚簇索引:对应的是 MyISAM 的存储方式。
索引的本质是 B+ 结构,建立一个索引,会加入一颗 B+ 树。
MySQL 除了默认会建立主键索引外,我们用户也有可能建立按照其他列信息建立的索引,一般这种索引可以叫做辅助(普通)索引。
对于 MyISAM,建立辅助(普通)索引和主键索引没有差别,无非就是主键不能重复,而非主键可重复。
InnoDB 除了主键索引,用户也会建立辅助(普通)索引,我们以上表中的 Col3 建立对应的辅助索引如下图:
InnoDB 的非主键索引中叶子节点并没有数据,而只有对应记录的 key 值。
所以通过辅助(普通)索引,找到目标记录,需要两遍索引:首先检索辅助索引获得主键 ,然后用主键到主索引中检索获得记录 。这种过程,就叫做回表查询 。
为何 InnoDB 针对这种辅助(普通)索引的场景,不给叶子节点也附上数据呢?原因就是太浪费空间了 。
索引操作
主键索引
CREATE TABLE user1 ( id INT PRIMARY KEY , name VARCHAR (30 ));
CREATE TABLE user2 (id INT , name VARCHAR (30 ), PRIMARY KEY (id));
CREATE TABLE user3 ( id INT , name VARCHAR (30 ));
ALTER TABLE user3 ADD PRIMARY KEY (id);
一个表中,最多有一个主键索引,当然可以使用复合主键。
主键索引的效率高(主键不可重复)。
创建主键索引的列,它的值不能为 null,且不能重复。
主键索引的列基本上是 int。
唯一键索引
CREATE TABLE user4 ( id INT PRIMARY KEY , name VARCHAR (30 ) UNIQUE );
CREATE TABLE user5 ( id INT PRIMARY KEY , name VARCHAR (30 ), UNIQUE (name));
CREATE TABLE user6 ( id INT PRIMARY KEY , name VARCHAR (30 ));
ALTER TABLE user6 ADD UNIQUE (name);
一个表中,可以有多个唯一索引。
查询效率高。
如果在某一列建立唯一索引,必须保证这列不能有重复数据。
如果一个唯一索引上指定 not null,等价于主键索引。
普通索引 CREATE TABLE user8 ( id INT PRIMARY KEY , name VARCHAR (20 ), email VARCHAR (30 ), INDEX (name));
CREATE TABLE user9 ( id INT PRIMARY KEY , name VARCHAR (20 ), email VARCHAR (30 ));
ALTER TABLE user9 ADD INDEX (name);
CREATE TABLE user10 ( id INT PRIMARY KEY , name VARCHAR (20 ), email VARCHAR (30 ));
CREATE INDEX idx_name ON user10 (name);
增加多列索引(复合索引) ALTER TABLE test1 ADD email VARCHAR (30 ) NOT NULL AFTER name;
增加多列索引,显示有两颗 B+ 树,其实是一颗 B+ 树,都是 name 为键值的一颗 B+ 树。
复合索引:以多列作为索引,并不是创建了两颗 B+ 树,而是会以第一个作为索引列。
索引覆盖:有多个索引构成一颗 B+ 树,通过第一个列找到它的其他列,就不需要回表查询了。
索引的最左匹配原则:下图中可以拿张三匹配,可以拿张三和它的 qq 匹配,但是不能只拿 qq 进行匹配(是找不到的)。
ALTER TABLE test1 ADD INDEX (name, email);
ALTER TABLE test1 DROP INDEX name;
CREATE INDEX myindex ON test1 (name, email);
ALTER TABLE test1 DROP INDEX myindex;
查询索引
第二种方式:SHOW INDEX FROM 表名;
第三种方式:DESC 表名;
删除索引
第一种方法 - 删除主键索引:
ALTER TABLE 表名 DROP PRIMARY KEY;
第二种方法 - 其他索引的删除(包括普通索引,唯一键索引):
ALTER TABLE 表名 DROP INDEX 索引名;
索引名就是 SHOW KEYS FROM 表名中的 Key_name 字段
第三种方法:DROP INDEX 索引名 ON 表名
mysql> DROP INDEX name ON user8;
索引创建原则
比较频繁作为查询条件的字段应该创建索引。
唯一性太差的字段(比如性别)不适合单独创建索引,即使频繁作为查询条件。
更新非常频繁的字段不适合作创建索引。
不会出现在 where 子句中的字段不该创建索引。
全文索引
当对文章字段或有大量文字的字段进行检索时,会使用到全文索引 。MySQL 提供全文索引机制,但是有要求,要求表的存储引擎必须是 MyISAM ,而且默认的全文索引支持英文,不支持中文。如果对中文进行全文检索,可以使用 sphinx 的中文版 (coreseek)。
CREATE TABLE articles (
id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY ,
title VARCHAR (200 ),
body TEXT,
FULLTEXT (title, body)
) ENGINE = MyISAM;
INSERT INTO articles (title, body) VALUES
('MySQL Tutorial' , 'DBMS stands for DataBase ...' ),
('How To Use MySQL Well' , 'After you went through a ...' ),
('Optimizing MySQL' , 'In this tutorial we will show ...' ),
('1001 MySQL Tricks' , '1. Never run mysqld as root. 2. ...' ),
('MySQL vs. YourSQL' , 'In the following database comparison ...' ),
('MySQL Security' , 'When configured properly, MySQL ...' );
对列的内容进行查询
查询包含 database 字段的数据
可以用 explain 工具看一下,是否使用到索引。
key 为 NULL 表示没有用到全文索引。
SELECT * FROM articles WHERE MATCH (title, body) AGAINST('database' );
column_name 是表中实际存在的列名
key_name 是有索引的列名