矩阵乘法

1.1 向量 x 向量

  1. 有向量 被称为向量内积(Inner Product)点积(Dot Product),结果为一个实数。

注: 始终成立。

  1. 有向量 被称为向量外积(Outer Product),结果为一个矩阵,其中

1.2 矩阵 x 向量

有矩阵 ,向量 ,它们的积是一个向量 。有两种理解矩阵与向量的乘法的方式:

  1. 行列内积

如果按行写 ,可以把 表示为:

可以看出 的第 行是 的第 行和 的内积,即

  1. 整列相乘

按列表示:

可以看到, 的列的线性组合,其中线性组合的系数由 的元素给出。

也可以在左侧乘以行向量,写为 ,其中 $ A \in R^{m \times n}, x \in R^m, y \in R^n $。也有两种理解方式:

  1. 按列表示:

可以看出 的第 个元素为 的第 列的内积。

  1. 整行相乘

按行表示:

可以看出 的行的线性组合,其中线性组合的系数由 的元素给出。

1.3 矩阵 x 矩阵

两个矩阵相乘,其中 的总列数必须与 的总行数相等),则:

其中

  1. 行列内积

显然, 等于 的第 行和 的第 列的内积:

  1. 列乘以行

用列表示 ,用行表示 ,这时 等于 的第 列和 的第 行的外积的和:

这种情况下,,外积 的维度是 ,与 的维度一致。

如:

每一次都是用列向量与行向量相乘得到一个矩阵,每次得到的矩阵都有特点。如:

矩阵 每一列都和向量 同向,即列向量都在 这条直线上,列空间是一条直线。同理,行向量都在 这条直线上,行空间(矩阵行所有可能的线性组合)是一条直线。

  1. 整列相乘

用列表示,则可以将 的列视为 的列的矩阵向量积(1.2 节):

,可以看做 的第 列是 的列向量以 的第 列作为系数所求得的线性组合。

  1. 整行相乘

用行表示,则可以将 的行视为 的列的矩阵向量积(1.2 节):

,可以看做 的第 行是 的行向量以 的第 行作为系数所求得的线性组合。

  1. 分块乘法

在分块合适的情况下,可以简化运算。