numba
官网文档:http://numba.pydata.org/numba-doc/latest/reference/index.html
numba的通过meta模块解析Python函数的ast语法树,对各个变量添加相应的类型信息。然后调用llvmpy生成机器码,最后再生成机器码的Python调用接口。
import numba as nb from numba import jit @jit('f8(f8[:])') def sum1d(array): s = 0.0 n = array.shape[0] for i in range(n): s += array[i] return s import numpy as np array = np.random.random(10000) %timeit sum1d(array) %timeit np.sum(array) %timeit sum(array) 10.1 µs ± 137 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each) 7.85 µs ± 66.2 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each) 866 µs ± 16.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
numba中提供了一些修饰器,它们可以将其修饰的函数JIT编译成机器码函数,并返回一个可在Python中调用机器码的包装对象。
为了能将Python函数编译成能高速执行的机器码,我们需要告诉JIT编译器函数的各个参数和返回值的类型。我们可以通过多种方式指定类型信息,在上面的例子中,类型信息由一个字符串’f8(f8[:])’指定。其中’f8’表示8个字节双精度浮点数,括号前面的’f8’表示返回值类型,括号里的表示参数类型,’[:]’表示一维数组。因此整个类型字符串表示sum1d()是一个参数为双精度浮点数的一维数组,返回值是一个双精度浮点数。
需要注意的是,JIT所产生的函数只能对指定的类型的参数进行运算.
如果希望JIT能针对所有类型的参数进行运算,可以使用autojit:
from numba import autojit @autojit def sum1d2(array): s = 0.0 n = array.shape[0] for i in range(n): s += array[i] return s
meta模块
通过研究numba的工作原理,我们可以找到许多有用的工具。例如meta模块可在程序源码、ast语法树以及Python二进制码之间进行相互转换。
decompile_func能将函数的代码对象反编译成ast语法树,而str_ast能直观地显示ast语法树,使用这两个工具学习Python的ast语法树是很有帮助的。
而python_source可以将ast语法树转换为Python源代码。
decompile_pyc将上述二者结合起来,它能将Python编译之后的pyc或者pyo文件反编译成源代码。下面我们先写一个tmp.py文件,然后通过py_compile将其编译成tmp.pyc。
llvmpy模块
LLVM是一个动态编译器,llvmpy则可以通过Python调用LLVM动态地创建机器码。
numba所完成的工作就是:
解析Python函数的ast语法树并加以改造,添加类型信息;
将带类型信息的ast语法树通过llvmpy动态地转换为机器码函数,然后再通过和ctypes类似的技术为机器码函数创建包装函数供Python调用。