如何优化InnoDB表BLOB,TEXT列的存储效率

57次阅读
没有评论

共计 1926 个字符,预计需要花费 5 分钟才能阅读完成。

这篇文章主要介绍了如何优化 InnoDB 表 BLOB,TEXT 列的存储效率,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让丸趣 TV 小编带着大家一起了解一下。

首先,介绍下关于 MySQL InnoDB 引擎存储格式的几个要点:

1、InnoDB 可以选择使用共享表空间或者是独立表空间方式,建议使用独立表空间,便于管理、维护。启用 innodb_file_per_table 选项,5.5 以后可以在线动态修改生效,并且执行 ALTER TABLE xx ENGINE = InnoDB 将现有表转成独立表空间,早于 5.5 的版本,修改完这个选项后,需要重启才能生效。

2、InnoDB 的 data page 默认 16KB,5.6 版本以后,新增选项 innodb_page_size 可以修改,在 5.6 以前的版本,只能修改源码重新编译,但并不推荐修改这个配置,除非你非常清楚它有什么优缺点。

3、InnoDB 的 data page 在有新数据写入时,会预留 1 /16 的空间,预留出来的空间可用于后续的新纪录写入,减少频繁的新增 data page 的开销。

4、每个 data page,至少需要存储 2 行记录。因此理论上行记录最大长度为 8KB,但事实上应该更小,因为还有一些 InnoDB 内部数据结构要存储。

5、受限于 InnoDB 存储方式,如果数据是顺序写入的话,最理想的情况下,data page 的填充率是 15/16,但一般没办法保证完全的顺序写入,因此,data page 的填充率一般是 1 / 2 到 15/16。因此每个 InnoDB 表都最好要有一个自增列作为主键,使得新纪录写入尽可能是顺序的。

6、当 data page 填充率不足 1 / 2 时,InnoDB 会进行收缩,释放空闲空间。

7、MySQL 5.6 版本的 InnoDB 引擎当前支持 COMPACT、REDUNDANT、DYNAMIC、COMPRESSED 四种格式,默认是 COMPACT 格式,COMPRESSED 用的很少且不推荐(见下一条),如果需要用到压缩特性的话,可以直接考虑 TokuDB 引擎。

8、COMPACT 行格式相比 REDUNDANT,大概能节省 20% 的存储空间,COMPRESSED 相比 COMPACT 大概能节省 50% 的存储空间,但会导致 TPS 下降了 90%。因此强烈不推荐使用 COMPRESSED 行格式。

9、当行格式为 DYNAMIC 或 COMPRESSED 时,TEXT/BLOB 之类的长列(long column,也有可能是其他较长的列,不一定只有 TEXT/BLOB 类型,看具体情况)会完全存储在一个独立的 data page 里,聚集索引页中只使用 20 字节的指针指向新的 page,这就是所谓的 off-page,类似 ORACLE 的行迁移,磁盘空间浪费较严重,且 I / O 性能也较差。因此,强烈不建议使用 BLOB、TEXT、超过 255 长度的 VARCHAR 列类型。

10、当 InnoDB 的文件格式(innodb_file_format)设置为 Antelope,并且行格式为 COMPACT 或 REDUNDANT 时,BLOB、TEXT 或者长 VARCHAR 列只会将其前 768 字节存储在聚集索页中(最大 768 字节的作用是便于创建前缀索引 /prefix index),其余更多的内容存储在额外的 page 里,哪怕只是多了一个字节。因此,所有列长度越短越好。

11、在 off-page 中存储的 BLOB、TEXT 或者长 VARCHAR 列的 page 是独享的,不能共享。因此强烈不建议在一个表中使用多个长列。

综上,如果在实际业务中,确实需要在 InnoDB 表中存储 BLOB、TEXT、长 VARCHAR 列时,有下面几点建议:

1、尽可能将所有数据序列化、压缩之后,存储在同一个列里,避免发生多次 off-page。

2、实际最大存储长度低于 255 的列,转成 VARCHAR 或者 CHAR 类型(如果是变长数据二者没区别,如果是定长数据,则使用 CHAR 类型)。

3、如果无法将所有列整合到一个列,可以退而求其次,根据每个列最大长度进行排列组合后拆分成多个子表,尽量是的每个子表的总行长度小于 8KB,减少发生 off-page 的频率。

4、上述建议是在 data page 为默认的 16KB 前提下,如果修改成 8KB 或者其他大小,请自行根据上述理论进行测试,找到最合适的值。

5、字符型列长度小于 255 时,无论采用 CHAR 还是 VARCHAR 来存储,或者把 VARCHAR 列长度定义为 255,都不会导致实际表空间增大。

感谢你能够认真阅读完这篇文章,希望丸趣 TV 小编分享的“如何优化 InnoDB 表 BLOB,TEXT 列的存储效率”这篇文章对大家有帮助,同时也希望大家多多支持丸趣 TV,关注丸趣 TV 行业资讯频道,更多相关知识等着你来学习!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-04发表,共计1926字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)