首页 > 其他分享> > PyTorch中的矩阵乘法

PyTorch中的矩阵乘法

2022-04-13 16:34:07 作者：互联网

1. 二维矩阵乘法 $torch.mm()$

$torch.mm(mat1, mat2, out=None)$ , 其中 $mat1 (n \times m)$ , $mat2 (m \times d)$ , 输出 $out$ 的维度是 $(n \times d)$ 。该函数 $torch.mm()$ 一般只用来计算两个二维矩阵的矩阵乘法，而且不支持broadcast操作。

2. 三维带Batch矩阵乘法 $torch.bmm()$

由于神经网络训练一般采用mini-batch，经常输入的是三维带batch矩阵，所以提供 $torch.bmm(bmat1, bmat2, out=None)$ ,其中 $bmat1(B \times n \times m)$ , $bmat2(B \times m \times d)$ , 输出 $out$ 的维度是 $(B \times n \times d)$ 。该函数的两个输入必须是三维矩阵且第一维相同（表示Batch维度），不支持broadcast操作。

3. "混合"矩阵乘法 $torch.matmul()$

$torch.matmul(input, other, out=None)$ 支持broadcast操作，使用起来比较复杂，建议参考pytorch官方文档。

特别，针对多维数据 $matmul()$ 乘法，我们可以认为该 $matmul()$ 乘法使用使用两个参数的后两个维度来计算，其他的维度都可以认为是batch维度。假设两个输入的维度分别是 $input (1000 \times 500 \times 99 \times11)$ , $other (500 \times 11 \times 99)$ ，那么我们可以认为 $torch.matmul(input, other)$ 乘法首先是进行后两位矩阵乘法得到 $(99 \times 11) \times (11 \times 99) \Rightarrow (99 \times 99)$ ，然后分析两个参数的batch size分别是 $(1000 \times 500)$ 和 $500$ , 可以广播成为 $(1000 \times 500)$ ，因此最终输出的维度是 $（1000 \times 500 \times 99 \times 99)$ 。

4. 矩阵逐元素(Element-wise)乘法 $torch.mul()$

$torch.mul(mat1, other, out=None)$ ，其中 $other$ 乘数可以是标量也可以是任意维度的矩阵，只要满足最终相乘是可以broadcast的即可,即该操作是支持broadcast操作的。

$other$ 是标量: 例如 $mat1$ 是维度任意的矩阵, $other=\alpha$ (一个标量), 那么输出一个矩阵，其中每个值是 $mat1$ 中原值乘以 $\alpha$ , 维度保持不变。

$other$ 是矩阵: 只要 $other$ 与 $mat1$ 的维度可以满足broadcast条件，就可以进行逐元素乘法操作，例如：

1 import torch
2 A = torch.randn(2,3,4)
3 B = torch.randn(3, 4)
4 print (torch.mul(A,b).shape) # 输出 torch.size([2,3,4)

5. 两个乘法操作符@和 $*$

简单来说， @ 操作符可以执行矩阵乘法操作，类似 $torch.mm(), torch.bmm(), torch.matmul()$ ; 而 $*$ 乘法操作可以执行逐元素矩阵乘法，使用方法类似 $torch.mul()$ 。

 1 import torch
 2 
 3 x=torch.ones(3,2)
 4 print(x)
 5 
 6 y=torch.ones(3,2)+2
 7 print(y)
 8 
 9 z=torch.ones(2,1)
10 print(z)
11 
12 print(x*y@z)

参考：随笔1: PyTorch中矩阵乘法总结 - 知乎 (zhihu.com)

标签：torch,矩阵,broadcast,print,PyTorch,维度,乘法
来源： https://www.cnblogs.com/fan-faith/p/16140857.html