Math Linear Algebra
几何体系#
- 欧氏几何：欧几里得几何，三角形内角和为180度、两点之间直线最短、过直线外一点有且只有一条平行线
- 非欧几何：应用在球面/马鞍面等，有罗氏几何、椭圆几何等，球面上三角形内角和大于180度、马鞍面上内角和小于180度。
- 黎曼几何：应用在球面/马鞍面等，广义相对论所用几何，计算时空弯曲。
Matrix Transpose#
矩阵转置
\[ (\mathbf{a}+\mathbf{b})^T = \mathbf{a}^T + \mathbf{b}^T \]\[ (\mathbf{ab})^T = \mathbf{b}^T \mathbf{a}^T \]\[ (\mathbf{abc})^T = \mathbf{c}^T \mathbf{b}^T \mathbf{a}^T \]Matrix Equation#
\[ \mathbf{ax} = \mathbf{by} \\ \implies \mathbf{x} = \mathbf{a}^{-1} \mathbf{by} \]Matrix Calculus#
\[ \frac{\partial}{\partial{\mathbf{a}}} \left( \mathbf{a}^T \mathbf{b} \right) = \mathbf{b} \]\[ \frac{\partial}{\partial{\mathbf{a}}} \left( \mathbf{a}^T \mathbf{M} \mathbf{a} \right) = 2 \mathbf{Ma} \]$L_p$ Norm#
$L_p$ 范数
let $\boldsymbol{z} = \begin{bmatrix} z_1 \\ z_2 \\ \vdots \\ z_d \end{bmatrix}$
\[ \| \boldsymbol{z} \|_p = \left(\sum_{i=1}^{d} |z_i|^p \right)^{1/p} \]$L_1$ Norm#
也称为曼哈顿距离
\[ \| \boldsymbol{z} \|_1 = \sum_{i=1}^{d} |z_i| \]$L_2$ Norm#
向量的的长度，
也称向量的欧几里得距离（Euclidean distance，两点间的直线距离）
或笛卡尔距离（Cartesian distance，笛卡尔坐标系下计算的欧氏距离）
\[ \begin{aligned} \| \boldsymbol{z} \|_2 \\ &= \sqrt{z_1^2 + z_2^2 + \dots + z_d^2} \\ &= \sqrt{\boldsymbol{z}^T \boldsymbol{z}} \end{aligned} \]Squared $L_2$ Norm#
\[ \begin{aligned} \| \boldsymbol{z} \|_2^2 = \boldsymbol{z}^T \boldsymbol{z} = \boldsymbol{z} \cdot \boldsymbol{z} \end{aligned} \]let $\mathbf{a}$ and $\mathbf{b}$ be two vectors in $\mathbb{R}^d$.
$\mathbf{a}^T \mathbf{b}$ is scalar, so $\mathbf{a}^T \mathbf{b} = (\mathbf{a}^T \mathbf{b})^T = \mathbf{b}^T \mathbf{a}$
\[ \begin{aligned} \| \mathbf{a} - \mathbf{b} \|_2^2 \\ &= (\mathbf{a} - \mathbf{b})^T(\mathbf{a} - \mathbf{b}) \\ &= \mathbf{a}^T \mathbf{a} - \mathbf{a}^T \mathbf{b} - \mathbf{b}^T \mathbf{a} + \mathbf{b}^T \mathbf{b} \\ &= \mathbf{a}^T \mathbf{a} - (\mathbf{a}^T \mathbf{b})^T - \mathbf{b}^T \mathbf{a} + \mathbf{b}^T \mathbf{b} \\ &= \mathbf{a}^T \mathbf{a} - \mathbf{b}^T \mathbf{a} - \mathbf{b}^T \mathbf{a} + \mathbf{b}^T \mathbf{b} \\ &= \mathbf{a}^T \mathbf{a} - 2\mathbf{b}^T \mathbf{a} + \mathbf{b}^T \mathbf{b} \\ &= \mathbf{a}^T \mathbf{a} - 2\mathbf{a}^T \mathbf{b} + \mathbf{b}^T \mathbf{b} \\ &= \| \mathbf{b} - \mathbf{a} \|_2^2 \end{aligned} \]没写下标默认就是 $L_2$，即
\[ \| \boldsymbol{z} \| = \| \boldsymbol{z} \|_2 \]