news 2026/4/18 10:00:46

PythonGIL

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
PythonGIL

GIL 是什么?—— 背景与设计初衷

🔹 定义

GIL(Global Interpreter Lock)是 CPython 解释器(即官方 Python 实现)中的一个全局互斥锁(mutex),它确保同一时刻只有一个线程在执行 Python 字节码

注意:GIL 是CPython 特有,不是 Python 语言标准。
其他实现如 PyPy、Jython、IronPython没有 GIL

🔹 为什么需要 GIL?

在 1990 年代,Python 设计者面临两个选择:

  1. 为每个对象加细粒度锁(复杂、开销大)
  2. 加一个全局锁(简单、高效)

由于当时多核 CPU 尚未普及,且 CPython 内存管理(引用计数)不是线程安全的,若多个线程同时修改对象的引用计数(如ob_refcnt),会导致内存崩溃。

GIL 的核心目的

简化 CPython 的内存管理,避免多线程并发修改对象头导致解释器崩溃。

📌 关键点:GIL 保护的是解释器内部状态,不是你的业务数据!
即使有 GIL,你的多线程程序仍需自己加锁(如threading.Lock())来保证业务逻辑正确。

GIL 如何工作?—— 线程争抢与释放机制

GIL 释放时机(CPython 3.2+)

CPython 使用“协作式 + 抢占式”混合策略

情况是否释放 GIL
I/O 操作(如time.sleep(),file.read(),socket.recv()✅ 立即释放(让其他线程运行)
执行 N 条字节码后(默认 5ms,可调)✅ 主动释放,触发线程切换
C 扩展显式释放(如 NumPy、regex)✅ 在耗时 C 代码中释放 GIL
纯 Python 计算循环❌ 不释放(直到时间片用完)

Python 3.2 引入了“GIL 改进算法”(由 Antoine Pitrou 设计),避免线程“饥饿”:

  • 线程在请求 GIL 时会进入等待队列;
  • 当前线程释放 GIL 后,唤醒等待队列中的第一个线程
  • 防止某个线程反复抢到 GIL(旧版问题)。

GIL 对性能的影响

场景影响说明
CPU 密集型任务(如数学计算、图像处理)❌ 严重退化多线程无法并行,速度 ≈ 单线程
I/O 密集型任务(如 Web 请求、文件读写)✅ 几乎无影响线程在 I/O 时释放 GIL,其他线程可运行
混合任务⚠️ 部分受限I/O 部分可并发,计算部分串行

示例:4 核 CPU 上运行纯计算任务

  • 单线程:100% 利用 1 核
  • 4 线程:仍只用 1 核,总耗时几乎不变(甚至更慢,因线程切换开销)

如何绕过 GIL?—— 解决方案

方案原理适用场景工具/库
多进程(Multiprocessing)每个进程有独立 Python 解释器 + GILCPU 密集型multiprocessing,concurrent.futures.ProcessPoolExecutor
使用 C 扩展释放 GIL在 C 代码中手动释放 GIL数值计算、编解码NumPy, Pandas, OpenCV, Cython(with nogil
换用无 GIL 的 Python 实现底层无 GIL 限制特定项目PyPy(部分场景)、Jython(JVM 上)
异步 I/O(asyncio)单线程事件循环,避免线程切换I/O 密集型高并发FastAPI, aiohttp, asyncpg
将计算卸载到外部服务用 Rust/C++/Go 写微服务极致性能gRPC 调用、消息队列分发

最佳实践

  • I/O 密集 → 用asyncio或多线程
  • CPU 密集 → 用多进程或 C 扩展

GIL 争抢流程图(可视化)

文字描述流程

CPU-Bound TaskI/O OperationThread CThread BThread AGIL-LockCPU-Bound TaskI/O OperationThread CThread BThread AGIL-Lock启动三个线程 A: I/O密集, B/C: CPU密集持有 GIL 不释放(直到 ~5ms 时间片到期)同样持有 GIL ~5ms关键规则:- I/O 立即释放 GIL- CPU 任务每 ~5ms 释放一次- 等待线程按 FIFO 唤醒请求 GIL授予 GIL执行 I/O 操作 如 socket.recv()阻塞等待主动释放 GIL(因 I/O)唤醒等待队列头(Thread B)获取 GIL授予 GIL执行 CPU 密集任务(纯 Python 循环)时间片用完主动释放 GIL唤醒 Thread C获取 GIL授予 GIL执行 CPU 密集任务时间片用完释放 GILThread A 已完成 I/O,重新入队并被唤醒重新获取 GIL授予 GIL继续执行后续逻辑

六、常见误区澄清

误区正确理解
“GIL 保证我的数据线程安全”❌ GIL 不保护业务数据!仍需Lock
“多线程在 Python 中完全没用”❌ I/O 密集型场景多线程非常高效
“GIL 会在 Python 未来版本移除”❌ CPython 核心开发者多次表示:短期内不会移除(破坏兼容性太大)
“asyncio 能绕过 GIL”⚠️ asyncio 是单线程,不涉及 GIL 争抢,但也不能并行计算
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 3:31:14

AES加密存储与大文件分片上传结合的解决方案

这篇文章介绍了Asp.Net上传文件并配置可上传大文件的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下 ASP.NET 包含两个控件可以使用户向网页服务器上传文件。一旦服务器接受了上传的文件数据&…

作者头像 李华
网站建设 2026/4/18 8:37:44

7款AI论文工具实测:知网查重一把过,无AIGC痕迹轻松搞定

还在为开题、写作、降重、查AIGC而彻夜难眠?告别焦虑,你距离完美论文,只差一个正确的工具。 当你看到这篇文章时,恭喜你,你的论文“渡劫”之路已经看到了曙光。你是否也经历过这样的场景:对着空白的Word文档…

作者头像 李华
网站建设 2026/4/18 2:10:02

一线乾坤 通达信源码

{}DIR1:ABS(CLOSE-REF(CLOSE,5)); VIR1:SUM(ABS(CLOSE-REF(CLOSE,1)),5); ER1:DIR1/VIR1; CS1:ER1*(0.8-2/8)2/8; CQ1:CS1*CS1; DIR2:ABS(CLOSE-REF(CLOSE,10)); VIR2:SUM(ABS(CLOSE-REF(CLOSE,1)),10); ER2:DIR2/VIR2; CS2:ER2*(0.8-2/24)2/24; CQ2:CS2*CS2;{分析家} AMA2:EMA…

作者头像 李华
网站建设 2026/4/17 19:50:01

PyTorch-CUDA-v2.7镜像在渔业资源评估中的尝试

PyTorch-CUDA-v2.7镜像在渔业资源评估中的尝试 在海洋生态监测日益数据化的今天,渔业资源评估正面临一场由AI驱动的范式变革。过去依赖人工调查和统计模型的方式,已难以应对卫星遥感、声呐扫描与渔船日志等海量异构数据的融合分析需求。尤其是在全球气候…

作者头像 李华
网站建设 2026/4/18 7:54:55

安全左移实战指南:测试工程师的CI/CD安全测试整合策略

DevSecOps的变革力量 在快速迭代的软件开发时代,安全漏洞已成为企业面临的最大风险之一。传统安全测试往往滞后于开发周期,导致修复成本高昂且响应迟钝。DevSecOps——作为DevOps的演进——通过将安全(Security)左移(…

作者头像 李华