如何在python / numpy中自动化BLAS的环境变量依赖基准？

我需要一些帮助来弄清楚如何在python中自动化基准测试工作.

我正在通过python中的numpy测试线程对BLAS库调用的影响.在Linux环境中,OpenBLAS中的线程通过环境变量OMP_NUM_THREADS进行控制.我想做一个测试,我将OMP_NUM_THREADS从1增加到最大值,在每个线程计数时计算一个例程,然后最终操作所有线程计数的聚合时间.

问题如下.环境变量可以在python中设置,但它们只影响子进程或子shell.所以我可以使用以下驱动程序代码正确运行我的基准测试：

#!/usr/bin/env python                                                                                                     # driver script for thread test
import os

thread_set =[1,2,4,8,16]
for thread in thread_set:

    os.environ['OMP_NUM_THREADS']='{:d}'.format(thread)
    os.system("echo $OMP_NUM_THREADS")
    os.system("numpy_test")

和numpy_test脚本：

#!/usr/bin/env python
#timing test for numpy dot product (using OpenBLAS)                                                      
#based on https://stackoverflow.com/questions/11443302/compiling-numpy-with-openblas-integration
import sys
import timeit

setup = "import numpy; x = numpy.random.random((1000,1000))"
count = 5

t = timeit.Timer("numpy.dot(x, x.T)", setup=setup)
dot_time = t.timeit(count)/count
print("dot: {:7.3g} sec".format(dot_time))

但分析这是一个非常手动的过程.

特别是,我无法将numpy_test的值dot_time返回到我的外包装程序,因此我无法以任何自动方式分析测试结果.作为一个例子,我想绘制dot_time与线程数,或者评估dot_time /线程数是否恒定.

如果我尝试通过定义python测试函数(避免上面的os.system()方法)完全在python实例中进行类似的测试,然后在thread_set循环中的线程内运行测试函数,那么测试的所有实例函数为OMP_NUM_THREADS(父python shell的值)继承相同的值.所以这个测试失败了：

#!/usr/bin/env python
#attempt at testing threads that doesn't work
#(always uses inherited value of OMP_NUM_THREADS)
import os

import sys
import timeit

def test_numpy():
    setup = "import numpy; x = numpy.random.random((1000,1000))"
    count = 5

    t = timeit.Timer("numpy.dot(x, x.T)", setup=setup)
    dot_time = t.timeit(count)/count
    print("dot: {:7.3g} sec".format(dot_time))
    return dot_time

thread_set =[1,2,4,8,16]
for thread in thread_set:
    os.environ['OMP_NUM_THREADS']='{:d}'.format(thread)
    os.system("echo $OMP_NUM_THREADS")
    time_to_run = test_numpy()
    print(time_to_run)

这失败了因为每个线程实例都花费相同的时间,因为test_numpy()总是在父环境中继承OMP_NUM_THREADS的值,而不是通过os.environ()设置的值.如果这样的事情有效,那么做我需要做的分析是微不足道的.

在真正的测试中,我将运行几千个排列,因此自动化是关键.鉴于此,我很感激这些问题的答案：

>您将如何从像这样的子流程返回值(dot_time)？有没有比读/写文件更优雅的解决方案？
>有没有更好的方法来构建这种(依赖于环境变量)测试？

先感谢您.

解决方法:

你可以这样做：

import subprocess

os.environ['OMP_NUM_THREADS'] = '{:d}'.format(thread)
proc = subprocess.Popen(["numpy_test"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
stdout, stderr = proc.communicate()

然后你将在stdout中获得numpy_test脚本的输出.一般来说,我认为subprocess.call和subprocess.Popen优先于os.system.

标签：python,multithreading,numpy,blas,python-3-3
来源： https://codeday.me/bug/20190629/1323557.html