一、GIL:全局解释器锁。
全称:Global Interpreter Lock
每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。
其设计初衷是为了保护线程的安全问题。
Python语言和GIL没有关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。
线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100。
多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁
二、GIL的存在就能保证线程的安全吗?
GIL 是 Python 解释器正确运行的保证,但Python 语言本身没有提供任何机制访问它,但Cpython解释器提供了GIL的开关。
IO 阻塞时,GIL 会被释放。这时如果其他线程对该线程的全局变量执行操作,就会改变这个全局变量,从而造成极大的安全风险。
三、如何解决GIL造成的安全性问题?
1、使用多进程
进程之间都会有独立的内存空间,并不会共享全局变量
2、使用 C 扩展
CPython 在解释器层提供了控制 GIL 的开关
GIL 保证了线程安全性,但很显然也带来了一个问题:每个时刻只有一条线程在执行,即使在多核架构中也是如此——毕竟,解释器只有一个。如此一来,单进程的 Python 程序便无法利用到多核的优势了
3、使用互斥锁
在线程中关键数据前后加上互斥锁,保护关键数据
某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。