news 2026/6/24 10:10:24

MySQL对大表格做数据归档

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
MySQL对大表格做数据归档

最近在检查数据的时候发现有个表格数据已经达到了两千多万,select count(*) 需要二十多秒,所以准备对历史数据进行一次归档,跟业务部门沟通他们说只需要保留半年数据即可,这样就可以把大量的历史数据移出当前业务表格,减少当前表的操作压力

首先大家千万不要因为业务部门说历史数据不查就直接 delete,注意大表千万不要直接 delete,如果删除的条件没有索引会直接锁表,如此大的数据量删除需要很久,锁表过程也会很长,然后删除条件有索引的情况也不建议直接 delete,会产生大量 undo/redo 日志,这个过程除了会删数据记录还会删索引记录,数据量太大会消耗大量资源导致数据库性能下降影响其服务稳定

所以我们用下面的方法,快捷方便稳定 (注意如果做了主从复制,需监控从库延迟情况)

# 创建一个表用来接收我们需要保留的数据CREATE TABLE alarm_appendix_new LIKE alarm_appendix;# 将我们要保留的数据导入到新表,这个过程可能会持续3-5分钟,建议暂停服务操作,如果服务不能暂停可以在下一个操作完成后再做一次数据补充INSERT INTO alarm_appendix_new SELECT * FROM alarm_appendix WHERE insert_time>='2025-11-01';# 直接将原始业务表格改为备份表(此过程是原子操作),将新表改为业务表格,注意如果没有暂停服务和上一个操作间隔太久可能会存在数据遗漏,需要补充数据RENAME TABLE alarm_appendix TO alarm_appendix_bak_20260623, alarm_appendix_new TO alarm_appendix;# 防止备份切换过程中存在数据遗漏,注意该操作要求表有主键,不然自己写sql补充也可以INSERT IGNORE INTO alarm_appendix SELECT * FROM alarm_appendix_bak_20260623 WHERE insert_time>='2025-11-01';

操作完再检查一下数据,可以发现还有五百多万条,查询时间 5.5 秒,虽然还是有些久,但是比两千多万条的时候还是要好上很多

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/24 10:07:48

基于最新YOLO26架构的脑肿瘤识别系统,附7920张训练实测(项目源码+数据集+模型权重+UI界面+python+深度学习+远程环境部署)

摘要 本研究提出了一种基于YOLO26深度学习架构的脑肿瘤智能识别与检测系统,旨在通过自动化图像分析技术提升医学影像诊断的效率与准确性。该系统针对三类脑肿瘤(类别“0”、“2”、“3”)进行精细化识别。实验数据集包含7920张训练图像和198…

作者头像 李华
网站建设 2026/6/24 10:00:58

API Key怎么安全保存?环境变量、本地配置和团队权限管理清单

API Key 是调用模型接口的凭证,不是普通登录密码,也不应该出现在截图、文章、仓库或聊天记录里。本文从个人使用和团队协作两个角度,整理一份 Key 保存、权限拆分、环境变量配置和泄露处理清单。适合人群:准备长期使用模型 API&am…

作者头像 李华
网站建设 2026/6/24 10:00:13

【限时解禁】2026奇点大会闭门报告:ML生命周期中被忽视的“第4阶段”——模型退役治理(含3家头部银行实战SOP)

更多请点击: https://codechina.net 第一章:AI模型成熟度管理:2026奇点智能技术大会ML模型生命周期 在2026奇点智能技术大会上,AI模型成熟度管理被确立为ML工程规模化落地的核心范式。该范式不再将模型视为一次训练完成的静态产物…

作者头像 李华
网站建设 2026/6/24 9:59:31

三步免费下载百度文库文档:开源工具的完整使用指南

三步免费下载百度文库文档:开源工具的完整使用指南 【免费下载链接】baidu-wenku fetch the document for free 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wenku 你是否经常在百度文库找到有价值的文档,却发现需要付费或下载券才能保存…

作者头像 李华
网站建设 2026/6/24 9:51:19

3步打造梦想农场:星露谷物语规划器的终极使用指南

3步打造梦想农场:星露谷物语规划器的终极使用指南 【免费下载链接】stardewplanner Stardew Valley farm planner 项目地址: https://gitcode.com/gh_mirrors/st/stardewplanner 你是否曾在星露谷中面对广阔土地时感到迷茫?想要设计一个既高效又美…

作者头像 李华
网站建设 2026/6/24 9:45:53

微盟星启分层产品体系:精准匹配不同规模企业GEO布局需求

引言 随着AI搜索时代的到来,越来越多的企业开始关注并布局生成式引擎优化(GEO)。然而,不同规模、不同行业、不同发展阶段的企业,在GEO方面的需求与预算存在显著差异。大型企业需要全面、深度的GEO布局,中小…

作者头像 李华