news 2026/6/10 17:42:00

Mysql大数据深分页速度慢优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Mysql大数据深分页速度慢优化

Mysql: 8.0.29

数据量:628W条

主键字段:id

一、Mysql分页原理

示例语句: SELECT * FROM test_logistics_contract_info LIMIT 5000000,10;

PS1:理论上生产环境不禁止SELECT * ,哪怕会用到所有的字段,这里只是示例语句。

执行原理 :

先执行 SELECT * FROM test_logistics_contract_info LIMIT 5000010;放入Mysql内存中

再取最后的10条返回

效率:

分页越深,效率越低,如果取全表的最后10条,相当于全表扫描。

二、俩种SQL语句级别优化和效率对比

原版语句: 执行时间 7.338秒

优化语句一: 查询时间 0.143秒 比原版的零头还低

SELECT a.* FROM test_logistics_contract_info a INNER JOIN (SELECT id FROM test_logistics_contract_info LIMIT 500000,10) as b
on a.id = b.id

原理:利用 InnoDB 的回表机制,先拿所需要数据的主键,再用主键拿数据。

优化二:查询时间 0.0秒(纳秒级别了) 比原版的零头的零头还低

SELECT * FROM test_logistics_contract_info WHERE id >= 5066186 LIMIT 10;

原理:先拿到上次分页的最后一条数据id,然后用id精准定位数据的位置。

缺点:禁止跳页,每次都必须拿到上一页的最后一条数据的id

PS2:Mysql自增主键具有不连续性,用页数*每页条数得到的数字作为id是不准确的(比如物理删除的数据,或者批量添加数据)

PS3:Mysql还有唯一索引不唯一的特性( ^_^!!)

三、其他优化方式

1、禁止深分页(使用多)

某东、某宝的分页都限定了100页

2、用适合大数据分页的DB 存数据 (省心)

比如es(GB~TB级别) Hbase(PB级别)

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 11:19:29

MultiWOZ多领域对话数据集完整使用指南:从入门到精通

MultiWOZ多领域对话数据集完整使用指南:从入门到精通 【免费下载链接】multiwoz Source code for end-to-end dialogue model from the MultiWOZ paper (Budzianowski et al. 2018, EMNLP) 项目地址: https://gitcode.com/gh_mirrors/mu/multiwoz 在人工智能…

作者头像 李华
网站建设 2026/6/9 17:18:56

2025视频会议软件排名

2025年视频会议软件综合排名与分析依据2025年的市场状况以及行业报告,下面是全球与中国市场主流视频会议软件的综合排名与分析,从市场份额、功能创新、用户评价等方面给出参考:一、市场综合排名腾讯会议市场地位:在中国市场的占有…

作者头像 李华
网站建设 2026/6/10 0:57:30

IPv4:互联网的基石与面临的挑战

IPv4:互联网的基石与面临的挑战IPv4(Internet Protocol Version 4)作为互联网通信的核心协议,自1983年正式启用以来,支撑了全球互联网四十余年的高速发展。它通过32位二进制地址标识网络中的每一台设备,采用…

作者头像 李华
网站建设 2026/6/9 21:40:49

13、网络攻击技术全解析:从数据包嗅探到客户端攻击

网络攻击技术全解析:从数据包嗅探到客户端攻击 在网络安全领域,攻击者常常使用各种技术手段来获取用户信息或控制网络。本文将详细介绍一些常见的网络攻击技术,包括数据包嗅探、数据修改、SSL中间人攻击、DNS欺骗以及客户端攻击等,并提供具体的操作步骤和原理分析。 一、…

作者头像 李华
网站建设 2026/6/10 12:51:03

2024 UE4引擎 Dump SDK实战

2024 UE4 Dump SDK实战课:从GWorld/GName定位到Frida脚本编写,逆向分析全掌握在虚幻引擎(Unreal Engine 4/5)生态中,Dump SDK(数据转储软件开发工具包)是开发者实现高性能数据采集、调试与逆向分…

作者头像 李华