news 2026/6/10 18:36:38

一个postgresql奇怪慢查询现象的原因和解决

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一个postgresql奇怪慢查询现象的原因和解决

有一个复杂的CTE查询,原来最后一步直接查询的语句如下

selectt.rn,sfrom(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t,bWHEREresn=1andt.rn=b.rn;...Time:1357.870ms(00:01.358)

想统计最终结果中表t的行数,而不是关联后的行数,于是用下面的查询

selectcount(*)fromtwheret.next_pos=0;-- 2.754秒count-------2843(1row)Time:2754.143ms(00:02.754)

开始以为是row_number()函数过滤的影响,结果并不是,还是比较慢

selectcount(*)from(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t1WHEREresn=1;--2.855秒count-------1000(1row)Time:2855.320ms(00:02.855)

而原来未加count( *)的直接查询只要一半的时间。奇怪的是,对加了表连接的结果再count( *)反而更快,

selectcount(*)from(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t1,bWHEREresn=1andt1.rn=b.rn;--1.239秒count-------1000(1row)Time:1239.115ms(00:01.239)

查看执行计划,慢查询里有一处耗时的操作它的关联条件很长。

Nested Loop (cost=0.00..20184.70 rows=1550 width=142) (actual time=0.038..1595.842 rows=45778.00 loops=1) Join Filter: (substr(CASE CASE WHEN (length(replace(substr(replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text), hh), '?'::text, ''::text)) > length(replace(substr(replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text), ss), '?'::text, ''::text))) THEN 0 ELSE 1 END WHEN 0 THEN replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text) ELSE reverse(replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text)) END, all_pos.pos, 1) = (all_pos.n)::text)

更快的语句执行计划同样的地方就只有(substr(b_1.b, all_pos.pos, 1) = (all_pos.n)::text)。成本也只有一半

-> Nested Loop (cost=0.00..9316.20 rows=1550 width=84) (actual time=0.006..183.893 rows=45778.00 loops=1) Join Filter: (substr(b_1.b, all_pos.pos, 1) = (all_pos.n)::text)

而上述过滤条件是在另两个子查询中

aas(selectrn,replace(replace(b,chr(10),''),' ','')bfroms,bas(selectrn,caseflagwhen0thenbelsereverse(b)endb,flagfrom(selectrn,b,casewhenlength(replace(substr(b,hh),'?',''))>length(replace(substr(b,ss),'?',''))then0else1endflagfroma)s),

看来这几个子查询都没有实体化,而是展开到了 Nested Loop连接的句子中
给子查询b 加了个MATERIALIZED,变成b as MATERIALIZED (select rn,case flag when ..., 所有的count就都快了。

selectcount(*)fromtwheret.next_pos=0;count-------2843(1row)Time:1249.923ms(00:01.250)selectcount(*)from(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t1WHEREresn=1;count-------1000(1row)Time:1218.167ms(00:01.218)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 17:07:39

高效部署AI模型:从零开始使用TensorFlow镜像

高效部署AI模型:从零开始使用TensorFlow镜像 在当今AI项目快速迭代的背景下,一个常见的痛点是:“为什么代码在开发机上运行良好,却在生产环境频频出错?” 这种“在我机器上能跑”的怪圈,本质上源于环境差异…

作者头像 李华
网站建设 2026/6/10 11:57:17

Eager Execution模式详解:让TensorFlow更易调试

Eager Execution模式详解:让TensorFlow更易调试 在深度学习的早期岁月里,开发者常常面临一个令人头疼的问题:写了一堆模型代码,却无法像调试普通Python程序那样打印中间结果、设置断点查看变量状态。尤其是在使用 TensorFlow 1.x …

作者头像 李华
网站建设 2026/6/10 11:53:55

基于Spring Boot的项目对接管理系统

基于Spring Boot的项目对接管理系统是一款专为项目协作与对接而设计的高效工具。以下是对该系统的详细介绍: 一、系统概述 该系统利用Spring Boot的优势构建稳定可靠的后端架构,并结合前端技术(如Vue.js)实现前后端分离&#xff0…

作者头像 李华
网站建设 2026/6/10 12:02:18

基于雨流计数法的源 - 荷 - 储双层协同优化配置探索

基于雨流计数法的源-荷-储双层协同优化配置 主要内容:代码主要做的是一个源荷储优化配置的问题,采用双层优化,外层优化目标的求解依赖于内层优化的储能系统充放电曲线,基于储能系统充放电曲线,采用雨流计数法电池健康状…

作者头像 李华
网站建设 2026/6/10 11:58:22

数据驱动 vs 关键字驱动:在不同业务场景下的抉择

在软件测试领域,自动化测试框架的选择直接影响测试效率、维护成本和团队协作模式。数据驱动与关键字驱动作为两种主流范式,各自在特定业务场景中展现出独特优势。本文将从技术原理、适用场景、实现案例及团队适配性等维度,深入剖析两种驱动方…

作者头像 李华