首页 > 其他分享> > 矩阵求导

矩阵求导

2022-04-17 22:02:10 作者：互联网

https://zhuanlan.zhihu.com/p/137702347

这篇文章讲得不错

好像下面这篇文章也写得不错，之后有空再看

https://zhuanlan.zhihu.com/p/24709748

虽然说学过微积分理论上就能推导出矩阵求导的法则，但是矩阵求导的确是很麻烦，先不提张量相关，简单的来组合一下就很多可能：

向量对标量求导（Vector-by-scalar）

向量 $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ ，对标量 $x$ 求导，一般写为：

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}}\\$

常见例子是位移对时间求导，速度对时间求导。

标量对向量求导（Scalar-by-vector）

标量 y 对向量 $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$ 求导写作：

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}}\\$

这里可能会让人疑惑，为什么上面是列向量而这里则是行向量。

这是矩阵求导可能会比较麻烦的第二个地方，可能有不同的布局方式：

分子布局（Numerator Layout）：分子不变，分母转置
分母布局（Denominator Layout）：分母不变，分子转置

当然还有混合布局。

用分子布局因为 wikipedia 里就是这样做的，而且有些只能有分子布局表示。

这里可能会分子布局可能会有点让人不习惯，因为比如梯度，我们很经常会把它看成列向量：

${\displaystyle \nabla f(p)={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}(p)\\\vdots \\{\frac {\partial f}{\partial x_{n}}}(p)\end{bmatrix}}}\\$

但实质上有些地方也把梯度看成/写成行向量，重要的是比如你在使用的时候根据自己所默认的认为是行向量还是列向量的不同在做不同的操作的时候稍加注意就ok了，比如下面这个式子列向量无所谓，因为是点乘，但是如果看成矩阵之间的乘法当然我们就需要转置作为列向量的梯度了：

${\displaystyle f(x)\approx f(x_{0})+(\nabla f)_{x_{0}}\cdot (x-x_{0})}\\$

向量对向量求导（Vector-by-vector）

向量 $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ 对向量 $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$ 求导，同样分子布局：

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}}\\$

正好是雅克比矩阵:

${\displaystyle \mathbf {J} ={\begin{bmatrix}{\dfrac {\partial \mathbf {f} }{\partial x_{1}}}&\cdots &{\dfrac {\partial \mathbf {f} }{\partial x_{n}}}\end{bmatrix}}={\begin{bmatrix}{\dfrac {\partial f_{1}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{1}}{\partial x_{n}}}\\\vdots &\ddots &\vdots \\{\dfrac {\partial f_{m}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{m}}{\partial x_{n}}}\end{bmatrix}}}\\$

这是使用分子布局的好处，否则就是雅克比的转置了。

这样的好处是写下这个式子也很自然：

${\displaystyle \mathbf {f} (\mathbf {x} )-\mathbf {f} (\mathbf {p} )=\mathbf {J} _{\mathbf {f} }(\mathbf {p} )(\mathbf {x} -\mathbf {p} )+o(\|\mathbf {x} -\mathbf {p} \|)\quad ({\text{as }}\mathbf {x} \to \mathbf {p} ),}\\$

矩阵对标量求导（Matrix-by-scalar）

$\frac{\partial \mathbf{Y}}{\partial x} = \begin{bmatrix} \frac{\partial y_{11}}{\partial x} & \frac{\partial y_{12}}{\partial x} & \cdots & \frac{\partial y_{1n}}{\partial x}\\ \frac{\partial y_{21}}{\partial x} & \frac{\partial y_{22}}{\partial x} & \cdots & \frac{\partial y_{2n}}{\partial x}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial y_{m1}}{\partial x} & \frac{\partial y_{m2}}{\partial x} & \cdots & \frac{\partial y_{mn}}{\partial x}\\ \end{bmatrix}\\$

标量对矩阵求导（Scalar-by-matrix）

$\frac{\partial y}{\partial \mathbf{X}} = \begin{bmatrix} \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{12}} & \cdots & \frac{\partial y}{\partial x_{1q}}\\ \frac{\partial y}{\partial x_{21}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{2q}}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial y}{\partial x_{p1}} & \frac{\partial y}{\partial x_{p2}} & \cdots & \frac{\partial y}{\partial x_{pq}}\\ \end{bmatrix}\\$

例子

之所以说矩阵求导本质上还是对单个变量求导，来看一个例子，比如：

$\frac{\partial (\mathbf{Ax})}{\partial \mathbf{x}}\\$

先来计算 $\mathbf{Ax}$ :

$\mathbf{Ax} = \begin{bmatrix} A_{11} & \cdots & A_{1n} \\ \vdots & & \vdots \\ A_{m1} & \cdots & A_{mn} \end{bmatrix} \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} = \begin{bmatrix} A_{11} x_1 + \cdots + A_{1n}x_n , \cdots , A_{m1}x_1 + \cdots + A_{mn}x_n \end{bmatrix}\\$

$\mathbf{A} \in \mathbf{R}^{m \times n}, \mathbf{x} \in \mathbf{R}^{n \times 1}, \mathbf{Ax} \in \mathbf{R}^{m \times 1}$ , 利用上面的向量对向量求导，使用雅克比矩阵：

$\begin{aligned} \frac{\partial (\mathbf{Ax})}{\partial \mathbf{x}} &= \begin{bmatrix} \frac{\partial }{\partial x_1}( A_{11} x_1 + \cdots + A_{1n}x_n ) & \cdots & \frac{\partial }{\partial x_n}( A_{11} x_1 + \cdots + A_{1n}x_n ) \\ \vdots & & \vdots \\ \frac{\partial }{\partial x_1}( A_{m1}x_1 + \cdots + A_{mn}x_n) & \cdots & \frac{\partial }{\partial x_n}( A_{m1}x_1 + \cdots + A_{mn}x_n) \end{bmatrix} \\ &= \begin{bmatrix} A_{11} & \cdots & A_{1n} \\ \vdots & & \vdots \\ A_{m1} & \cdots & A_{mn} \end{bmatrix}\\ &= A \end{aligned}\\$