python 3.9.9 x64 去除GIL（全局解释器锁）版——让多线程不再鸡肋

程序员没有节日 · 发表于 2022-5-11 21:02:18

0x00 前言
最近玩python时想实现多进程多线程混合运行，了解到了GIL（全局解释器锁）的存在，关于GIL，可以参见下面的官方文档
https://docs.python.org/zh-cn/3/ ... al-interpreter-lock
也就是说，python的多线程并不能实现真正意义上的并行，虽然多进程没有GIL的问题，但是创建进程的开销、内存占用以及通信效率都是多进程的问题（更何况多线程多进程我全都想要

），所以我开始尝试修改Cpython的源码以去除GIL，但未果。
后来某次在GitHub上发现了一个去除GIL的项目，并且被认为“有希望在未来几年里真正进入 CPython”（项目地址：https://github.com/cole**ury/nogil），本版python即基于此源码编译
0x01 过程
下载源码之后，查阅相关资料发现python源码可在Linux/Unix上直接编译运行（Linux/Unix的朋友可以直接去那个项目上git clone然后**ke就行了），但Windows上的编译却十分麻烦（主要是坑太多了），我便萌发了将其制作为安装包形式的想法。
查阅官方文档得知编译python源码需要VS2017环境，安装之后进入PCBuild文件夹，先下载依赖项，之后运行build.bat
第一次编译就报错了，后来经过多方排查后发现是该项目的作者使用了仅能运行于64位系统上的API函数，32位的编译就只能放弃了，执行命令：.\build.bat -p x64
编译完成，运行根目录下的python.bat即可打开python命令行
运行项目作者所修改版本**有的命令：import sys; print(sys.flags.nogil)，无报错，编译成功

但是这虽然能在本机上使用，但不便于分发，源码中包含了太多不必要的文件，且文件位置与发行版python不符，因此需要将其做成msi安装包
制作msi安装**程中的坑特别多，每次编译了半个小时左右就突然给你报错，网上关于这方面的信息少之又少，因此只能自己手动排查，排查过程这里就不再赘述
最终在.\PCBuild\AMD64\en-us目录下生成了安装包与embed包（解压即用）
编译完成留念：

0x02测试
安装过程挺顺利的，一次成功

全家福：

接下来我们来验证其是否真正去除了GIL
测试代码如下（多线程跑死循环）：
[Python] 纯文本查看 **代码
?

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17

from threading import Thread
import sys
def running():
while True:
      pass
return True

def **in():
thread_array = {}
for tid in range(8):
      t = Thread(target=running)
      t.start()
      thread_array[tid] = t
for i in range(8):
      thread_array.join()
if __n**e__ == '__**in__':
**in()

测试结果如下（对比测试环境为python3.9.5（即nor**l），测试时系统环境保持不变）：
3.9.9-nogil：

3.9.5-nor**l：

我的电脑是四核，因此如果带有GIL的话，理论CPU占用率不高于25%，但在nogil版本中cpu占用更是跑满，因此可以验证GIL已成功去除。

接下来我们来看一看去除GIL后的性能表现如何
我们用一个计数器来模拟CPU密集型任务：
[Python] 纯文本查看 **代码
?

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23

from threading import Thread
import time
import sys
def my_counter():
i = 0
for _ in range(100000000):
      i = i + 1
return True

def **in():
thread_array = {}
start_time = time.time()
for tid in range(2):
      t = Thread(target=my_counter)
      t.start()
      thread_array[tid] = t
for i in range(2):
      thread_array.join()
end_time = time.time()
print("Total time: {}".for**t(end_time - start_time))

if __n**e__ == '__**in__':
**in()

结果如下：
nor**l单线程：

nogil单线程：

nor**l多线程：

nogil多线程：

结果排名：nogil多线程>nor**l单线程>nor**l多线程>nogil单线程
可见去除GIL后多线程性能确实增加，但以单线程性能下降作为代价

再来用一个多任务测试（斐波那契、累加、阶乘，都运用了递归运算）：
[Python] 纯文本查看 **代码
?

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71

import threading
import time

class MyThread(threading.Thread):

def __init__(self, func, args, n**e=''):
      threading.Thread.__init__(self)
      self.n**e = n**e
      self.func = func
      self.args = args
def getResult(self):
      return self.res

def run(self):
      self.res = self.func(*self.args)
def fib(x):
if x < 2:
      return 1
return (fib(x - 2) + fib(x - 1))

def fac(x):
if x < 2:
      return 1
return (x * fac(x - 1))

def sum(x):
if x < 2:
      return 1
return (x + sum(x - 1))

funcs = [fib, fac, sum]
n = 35

def **in():

nfuncs = range(len(funcs))

print('*** SINGLE THREAD')
start_time = time.time()
for i1 in range(3):
      for i in nfuncs:
         print(funcs(n))
end_time = time.time()
print("Total time: ",for**t(end_time - start_time))

print('\n*** MULTIPLE THREADS')
start_time = time.time()
threads = []
for i in nfuncs:
      t1 = MyThread(funcs, (n, ), funcs.__n**e__)
      t2 = MyThread(funcs, (n, ), funcs.__n**e__)
      t3 = MyThread(funcs, (n, ), funcs.__n**e__)
      threads.append(t1)
      threads.append(t2)
      threads.append(t3)
for i in range(9):
      threads.start()
for i in range(9):
      threads.join()
      print(threads.getResult())
end_time = time.time()
print("Total time: ",for**t(end_time - start_time))
print('all DONE')

if __n**e__ == '__**in__':
**in()

结果如下：
nor**l：

nogil：

可见在递归上nogil不管是单线程还是多线程都吊打nor**l

总的来说如果使用nogil版的python解释器的话，在其中运用多线程会获得不错的性能，但同时也应当在编程中注意避免使用单线程，还要注意线程安全问题

0x03 结果
两个文件，exe为安装包，压缩包为解压即用
腾讯哈勃扫描结果：
https://habo.**.com/file/showdetail?md5=ae9b7507e2575b7c1d8f87354819b65f
https://habo.**.com/file/showdetail?md5=c6ab002a9e353cc742add4f4cbb147d4
仅供测试所用，请勿用于实际生产环境

下载地址.txt(150 Bytes, 下载次数: 27)

此处内容付费可见

此处内容需要向楼主支付铜钱才能显示

支付 2 铜钱

免责申明 - 论坛版权1、本站所有资源均来自会员分享或网络收集整理,仅供会员交流学习，禁用商业用途或盈利,下载后请在24小时之内删除；
2、本站（www.975w.com）支持正版，本资源版权归版权方所有，观看或阅读请到相应机构购买正版资源；
3、本站资源均来源于网络，本站不参与录制、上传，如本帖侵犯到任何版权问题，请立即告知本站(97889527#qq.com(#=@))，本站将及时予与删除并致以最深的歉意；

楼主热贴

dy0630 · 发表于 2024-6-16 00:28:40

我来顶顶顶...贴来了└(^o^)┘。

		自动登录	找回密码
密码			注册入口

[编程开发] python 3.9.9 x64 去除GIL（全局解释器锁）版——让多线程不再鸡肋

三国情论坛(975w.com)的特点：

阳光心情

动漫达人

摸金校尉

荣誉会员

优秀会员

普通精华

长期在线

老会员勋章

热心人士