Python3.11竟还有这么多性能提升！
作者：互联网
Python3.11竟还有这么多性能提升！
Python 3.11 在几天前发布了，它照例带来了很多新特性，例如异常组、细粒度的错误位置与堆栈回溯、标准库对 TOML 的解析支持，当然，还有备受大家期待的由 faster CPython 项目带来的速度提升。
根据 pyperformance 的基准测试，CPython 3.11 比 CPython 3.10 平均快 25%。这项改进的原因之一是 Guido 命名的“香农计划”（即 faster CPython）。对于 3.11 版本，这个计划在两个主要方向进行了大量优化：启动时和运行时。
除此之外，Python 3.11 还包含有其它的优化，这些优化不属于香农计划。
在本文中，我将详细介绍 3.11.0 稳定版中常规优化的细节（即非 faster CPython 项目的改进）。
（译注：作者表示将另写一篇文章介绍 faster CPython 的改进细节，届时，我也将继续翻译，敬请期待！）
目录
优化了一些 printf 风格 % 的格式化代码
优化了 Python 大整数的除法
优化了数字 PyLongs 求和
精简列表的扩容操作，提升了 list.append 性能
减少了全 unicode 键的字典的内存占用
提升了使用asyncio.DatagramProtocol 传输大文件的速度
对于 math 库：优化了 comb(n, k) 与 perm(n, k=None)
对于 statistics 库：优化了 mean(data)、variance(data, xbar=None) 与 stdev(data, xbar=None)
纯 ASCII 字符串的 unicodedata.normalize()，提升到常数时间
优化了一些 printf 风格 % 的格式化代码
使用格式化的字符串字面量（formatted string literals）是最快的格式化字符串的方法。
Python 3.10 中的一个简单基准测试：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- '"%s = %r" % (k, v)'
.....................
Mean +- std dev: 187 ns +- 8 ns
但是使用 f-string 似乎要快 42%：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- 'f"{k!s} = {v!r}"'
.....................
Mean +- std dev: 131 ns +- 9 ns
优化性能的手段是将简单的 C 风格的格式化方法转换为 f-string 方法。在 3.11.0 中，只转换了 %s、%r 和 %a 三种，但是目前有一个待合入的 pull request，将会支持：%d、%i、%u、%o、%x、%X、%f、 %e、%g、%F、%E、%G。
例如，下面是 Python 3.11 中相同基准测试的结果：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- '"%s = %r" % (k, v)'
.....................
Mean +- std dev: 100 ns +- 5 ns
大约快了 87%！当然，3.11 中其它的优化对此也有影响，比如更快的解释器启动时间。
优化了 Python 大整数的除法
在 Python 3.10 中：
python -m pyperf timeit -s 'x=10**1000' -- 'x//10'
.....................
Mean +- std dev: 1.18 us +- 0.02 us
在 Python 3.11 中：
python -m pyperf timeit -s 'x=10**1000' -- 'x//10'
.....................
Mean +- std dev: 995 ns +- 15 ns
大约快了18%。
这项优化源自 Mark Dickinson 的一个发现，即编译器总会生成 128:64 的除法指令，尽管处理的是 30 位的数值。
即使在 x64 上，Python 的除法也有些残缺。假设是 30 位数字，则多精度除法所需的基本结构是 64 位除以 32 位的无符号整数除法，产生一个 32 位的商（理想情况下还会产生一个 32 位余数）。有一个 x86/x64 指令可以做到这一点，也就是 DIVL。但是如果不使用内联汇编，当前版本的 GCC 和 Clang 显然做不到从 longobject.c 中发出该指令——它们只会在 x64 上使用 DIVQ（128 位除以 64 位的除法，尽管被除数的前 64 位被设为零），而在 x86 上则使用固有的 __udivti3 或 __udivti4。
——Mark Dickinson（全文）
优化了数字 PyLongs 求和
这里有一个 issue，它发现 Python 2.7 中 sum 的速度比 Python 3 快得多。不幸的是，在某些条件下，3.11.0 似乎仍然如此。
Python 2.7：
$ python -m pyperf timeit -s 'd = [0] * 10000' -- 'sum(d)'
.....................
Mean +- std dev: 37.4 us +- 1.1 us
Python 3.10：
$ python -m pyperf timeit -s 'd = [0] * 10000' -- 'sum(d)'
.....................
Mean +- std dev: 52.7 us +- 1.3 us
Python 3.11：
$ python -m pyperf timeit -s 'd = [0] * 10000' -- 'sum(d)'
.....................
Mean +- std dev: 39.0 us +-
Python 3.11 在几天前发布了，它照例带来了很多新特性，例如异常组、细粒度的错误位置与堆栈回溯、标准库对 TOML 的解析支持，当然，还有备受大家期待的由 faster CPython 项目带来的速度提升。
根据 pyperformance 的基准测试，CPython 3.11 比 CPython 3.10 平均快 25%。这项改进的原因之一是 Guido 命名的“香农计划”（即 faster CPython）。对于 3.11 版本，这个计划在两个主要方向进行了大量优化：启动时和运行时。
除此之外，Python 3.11 还包含有其它的优化，这些优化不属于香农计划。
在本文中，我将详细介绍 3.11.0 稳定版中常规优化的细节（即非 faster CPython 项目的改进）。
（译注：作者表示将另写一篇文章介绍 faster CPython 的改进细节，届时，我也将继续翻译，敬请期待！）
目录
优化了一些 printf 风格 % 的格式化代码
优化了 Python 大整数的除法
优化了数字 PyLongs 求和
精简列表的扩容操作，提升了 list.append 性能
减少了全 unicode 键的字典的内存占用
提升了使用asyncio.DatagramProtocol 传输大文件的速度
对于 math 库：优化了 comb(n, k) 与 perm(n, k=None)
对于 statistics 库：优化了 mean(data)、variance(data, xbar=None) 与 stdev(data, xbar=None)
纯 ASCII 字符串的 unicodedata.normalize()，提升到常数时间
优化了一些 printf 风格 % 的格式化代码
使用格式化的字符串字面量（formatted string literals）是最快的格式化字符串的方法。
Python 3.10 中的一个简单基准测试：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- '"%s = %r" % (k, v)'
.....................
Mean +- std dev: 187 ns +- 8 ns
但是使用 f-string 似乎要快 42%：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- 'f"{k!s} = {v!r}"'
.....................
Mean +- std dev: 131 ns +- 9 ns
优化性能的手段是将简单的 C 风格的格式化方法转换为 f-string 方法。在 3.11.0 中，只转换了 %s、%r 和 %a 三种，但是目前有一个待合入的 pull request，将会支持：%d、%i、%u、%o、%x、%X、%f、 %e、%g、%F、%E、%G。
例如，下面是 Python 3.11 中相同基准测试的结果：
$ python -m pyperf timeit -s \
'k = "foo"; v = "bar"' -- '"%s = %r" % (k, v)'
.....................
Mean +- std dev: 100 ns +- 5 ns
大约快了 87%！当然，3.11 中其它的优化对此也有影响，比如更快的解释器启动时间。
优化了 Python 大整数的除法
在 Python 3.10 中：
python -m pyperf timeit -s 'x=10**1000' -- 'x//10'
.....................
Mean +- std dev: 1.18 us +- 0.02 us
在 Python 3.11 中：
python -m pyperf timeit -s 'x=10**1000' -- 'x//10'
.....................
Mean +- std dev: 995 ns +- 15 ns
大约快了18%。
这项优化源自 Mark Dickinson 的一个发现，即编译器总会生成 128:64 的除法指令，尽管处理的是 30 位的数值。
即使在 x64 上，Python 的除法也有些残缺。假设是 30 位数字，则多精度除法所需的基本结构是 64 位除以 32 位的无符号整数除法，产生一个 32 位的商（理想情况下还会产生一个 32 位余数）。有一个 x86/x64 指令可以做到这一点，也就是 DIVL。但是如果不使用内联汇编，当前版本的 GCC 和 Clang 显然做不到从 longobject.c 中发出该指令——它们只会在 x64 上使用 DIVQ（128 位除以 64 位的除法，尽管被除数的前 64 位被设为零），而在 x86 上则使用固有的 __udivti3 或 __udivti4。
——Mark Dickinson（全文）
优化了数字 PyLongs 求和
这里有一个 issue，它发现 Python 2.7 中 sum 的速度比 Python 3 快得多。不幸的是，在某些条件下，3.11.0 似乎仍然如此。
Python 2.7：
$ python -m pyperf timeit -s 'd = [0] * 10000' -- 'sum(d)'
.....................
Mean +- std dev: 37.4 us +- 1.1 us
Python 3.10：
$ python -m pyperf timeit -s 'd = [0] * 10000' -- 'sum(d)'
.....................
Mean +- std dev: 52.7 us +- 1.3 us
Python 3.11：
$ python -m pyperf timeit -s 'd = [0] * 10000' -- 'sum(d)'
.....................
Mean +- std dev: 39.0 us +-