使用numpy.frompyfunc通过参数向python函数添加广播
作者：互联网
从像db这样的数组(大约是(1e6,300))和mask = [1,0,1]向量,我在第一列中将目标定义为1.
我想创建一个out向量,其中包含db中相应行与mask和target == 1匹配的向量,以及其他地方的零.
db = np.array([ # out for mask = [1, 0, 1]
# target, vector #
[1, 1, 0, 1], # 1
[0, 1, 1, 1], # 0 (fit to mask but target == 0)
[0, 0, 1, 0], # 0
[1, 1, 0, 1], # 1
[0, 1, 1, 0], # 0
[1, 0, 0, 0], # 0
])
我已经定义了一个vline函数,它使用np.array_equal(mask,mask& vector)将掩码应用于每个数组行,以检查向量101和111是否适合掩码,然后仅保留target == 1的索引.
out初始化为数组([0,0,0,0,0,0])
out = [0, 0, 0, 0, 0, 0]
vline函数定义为：
def vline(idx, mask):
line = db[idx]
target, vector = line[0], line[1:]
if np.array_equal(mask, mask & vector):
if target == 1:
out[idx] = 1
通过在for循环中逐行应用此函数,我得到了正确的结果：
def check_mask(db, out, mask=[1, 0, 1]):
# idx_db to iterate over db lines without enumerate
for idx in np.arange(db.shape[0]):
vline(idx, mask=mask)
return out
assert check_mask(db, out, [1, 0, 1]) == [1, 0, 0, 1, 0, 0] # it works !
现在我想通过创建一个ufunc来对vline进行矢量化：
ufunc_vline = np.frompyfunc(vline, 2, 1)
out = [0, 0, 0, 0, 0, 0]
ufunc_vline(db, [1, 0, 1])
print out
但是ufunc抱怨用这些形状广播输入：
In [217]: ufunc_vline(db, [1, 0, 1])
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-217-9008ebeb6aa1> in <module>()
----> 1 ufunc_vline(db, [1, 0, 1])
ValueError: operands could not be broadcast together with shapes (6,4) (3,)
In [218]:
解决方法:
从根本上将vline转换为numpy ufunc是没有意义的,因为ufunc总是以元素方式应用于numpy数组.因此,输入参数必须具有相同的形状,或者必须是broadcastable到相同的形状.您将两个具有不兼容形状的数组传递给ufunc_vline函数(db.shape ==(6,4)和mask.shape ==(3,)),因此您看到的是ValueError.
ufunc_vline还有其他一些问题：
> np.frompyfunc(vline,2,1)指定vline应返回单个输出参数,而vline实际上不返回任何内容(但在适当位置修改).
>您将db作为第一个参数传递给ufunc_vline,而vline期望第一个参数是idx,它用作db行的索引.
另外,请记住,使用np.frompyfunc从Python函数创建ufunc不会产生比标准Python for循环更明显的性能优势.要查看任何严重的改进,您可能需要使用C等低级语言对ufunc进行编码(请参阅文档中的this example).
话虽如此,您可以使用标准布尔数组操作轻松地对vline函数进行矢量化：
def vline_vectorized(db, mask):
return db[:, 0] & np.all((mask & db[:, 1:]) == mask, axis=1)
例如：
db = np.array([ # out for mask = [1, 0, 1]
# target, vector #
[1, 1, 0, 1], # 1
[0, 1, 1, 1], # 0 (fit to mask but target == 0)
[0, 0, 1, 0], # 0
[1, 1, 0, 1], # 1
[0, 1, 1, 0], # 0
[1, 0, 0, 0], # 0
])
mask = np.array([1, 0, 1])
print(repr(vline_vectorized(db, mask)))
# array([1, 0, 0, 1, 0, 0])
标签：numpy-broadcasting,python,numpy,numpy-ufunc 来源： https://codeday.me/bug/20191009/1875889.html