python 全局解释器锁(GIL)-程序员充电站

1、GIL(全局解释器锁)

python的GIL(Global Interpreter Lock,全局解释器锁)是CPython解释器(最主流的Python实现)中的一个核心机制,用于保证同一时刻只有一个线程执行Python字节码。它的存在深刻影响了Python的多线程性能,但也简化了CPython的内存管理和线程安全问题。

1.1、GIL的背景与目的

CPython是用C语言实现的Python解释器,其内存管理(如引用计数)并非线程安全,如果多个线程同时修改对象的引用计数,可能导致数据竞争或内存泄漏。为了简化设计,CPython引入了GIL:一个互斥锁,确保同一时间只有一个线程能执行Python代码(即持有GIL)。GIL的核心目的是保护CPython内部的数据结构(如对象、内存管理)免受多线程并发访问的破坏。

1.2、GIL 的工作原理

在CPython中,线程的执行流程如下：

获取GIL:当一个线程开始执行Python代码时,必须先获取GIL。如果GIL已被其他线程占用,当前线程会被阻塞,直到GIL被释放。
执行字节码:持有GIL的线程可以执行Python字节码(通常最多执行约100条指令,或通过sys.setcheckinterval调整)。
释放GIL:当线程执行完一定数量的字节码、遇到I/O操作(如读写文件、网络请求),或主动调用time.sleep()时,会释放GIL,允许其他线程竞争。
重新竞争GIL:释放GIL后,所有等待的线程会通过竞争(或操作系统调度)重新获取GIL,继续执行。

1.3、GIL对多线程的影响

GIL的存在导致Python多线程在CPU密集型任务中无法充分利用多核CPU,但在I/O密集型任务中仍能发挥作用。

CPU密集型任务(计算为主)

由于同一时间只有一个线程能执行Python代码,多线程无法并行利用多核。即使启动多个线程,它们也会轮流获取GIL,实际是串行执行。此时多线程的性能甚至可能不如单线程(因线程切换的开销)。

示例代码如下: #!/usr/bin/python3 import threading import time def count(n): sum = 0 for i in range(n): sum += i return sum # 单线程 start = time.time() count(10**8) print(f"单线程计算耗时:{time.time()-start:.2f}s") # 单线程计算耗时:3.61s # 多线程 start = time.time() t1 = threading.Thread(target=count,args=(5*10**7,)) t2 = threading.Thread(target=count,args=(5*10**7,)) t1.start() t2.start() t1.join() t1.join() print(f"双线程计算耗时:{time.time()-start:.2f}s") # 双线程计算耗时:3.68s，甚至更慢(线程切换开销)

I/O密集型任务(等待为主)

当线程遇到I/O操作(如网络请求、文件读写)时,会主动释放GIL,允许其他线程执行。此时多线程可以重叠等待时间，提升效率。

代码示例如下： #!/usr/bin/python3 import threading import time # 文件boot.img大小为17.2MB paths = ["boot.img"]*10 def readFile(path): file = open(path,"rb") while True: data = file.read() if not data: break file.close() start = time.time() for path in paths: readFile(path) print(f"单线程计算耗时:{time.time()-start:.8f}s") # 单线程计算耗时:0.04533887s start = time.time() threads = [] for path in paths: t = threading.Thread(target=readFile,args=(path,)) t.start() threads.append(t) for t in threads: t.join() print(f"多线程计算耗时:{time.time()-start:.8f}s") # 多线程计算耗时:0.02776027s(多线程显著更快,I/O等待时释放GIL)

GIL的争议与局限性

GIL是CPython 的一个经典设计权衡,但也备受争议: