在图像处理/数据优化/机器学习方法方面，看了一些需要代数背景的代码比较糊涂，决定以个人视角记录一些线性代数基础，也是想做很久的一件事。参考了多方资料，包括宋浩线性代数（理解细节参考）、张宇线性代数（排版、总结、详略、公式非常好）以及来自MIT的线性代数课程（思想、与工程结合性出众），可能比较综合(杂乱)。

逐渐更新。

矩阵基础

理解矩阵

矩阵的定义不值一提，但从不同视角看待更容易理解矩阵的本质。

行图像(Row Picture)与列图像(Column Picture)

平时习惯以行图像的时间看待矩阵，例如上述矩阵可以看成线性方程组的求解，对于二维矩阵求的是两直线的交点，三维则求三个面的交点: 解的存在性和个数取决于交点的存在性和分布规律。

列图像将矩阵看成是列向量的线性组合：

解的存在性和个数取决于两个向量的线性组合是否可达至目标向量。

如果目标向量B是任意的，从行向量看代表两条直线关系是随机的，如果是三维，则代表了空间中三个平面的关系是随机的；而从列图像理解更容易得多，因为其系数矩阵是不变的，无论是二维还是n维空间，关键在于系数向量的线性组合是否能够表示n维空间中任意的向量，其答案也显然的，如果n维系数均是线性无关的，那么一定能表示空间中任意向量。

提醒

反对称矩阵

对称矩阵容易理解，满足，即元素关于主对角线对称()；反对称矩阵满足，除了满足主对角线对称元素均为相反数()，还要满足主对角线元素均为0()。

矩阵多项式

那么矩阵多项式有：

运算

矩阵运算中不能以代数视角计算，例如: 所以一些展开式也应该遵循顺序： （）

同理：

此外AB=0不能推断A=0或者B=0，故： 即使也不能说明

矩阵转置规律

（方阵行列式相等）

正交矩阵

对于方阵，满足，称A为正交矩阵。

A为正交矩阵，其特征很明显:

  1. 首先求逆极其简单：两边右乘有：

  1. 意味着A的行向量组成的向量组以及列向量组成的向量组，均是标准正交基(见下文向量基础)，由于

可见a向量自身模长为1，与b、c均正交，b、c同理，故a、b、c行向量组成的向量组均是标准正交基，列向量同理。

矩阵的逆

对于方阵A，若 记为矩阵的逆，不是所有矩阵都有逆，其充要条件是对应行列式|A|不为0。

一些计算规律： 两矩阵和的逆没有固定规律。

余子式与代数余子式

伴随矩阵前要了解一些行列式基本计算，对于一个矩阵中某个元素，去除该元素所在行、列的所有元素，顺序不变组成的子式就是余子式，例如对于矩阵： 对于第一个元素1，其余子式就是：

同理对于元素5，其余子式为：

代数余子式是值在余子式的基础上，考虑行列和的奇偶性决定符号：

例如元素2的代数余子式

对于n阶方阵，其行列式值等于某行或者某列元素乘上其代数余子式：

j取值可以是1到n任一列(注意是一列，不是全部列都要)。

伴随矩阵

有了代数余子式的概念，就知道A的伴随矩阵由每个位置对应的代数余子式组成，但是注意对应关系的行列位置是相反的(对应在位置):

一些计算性质：

矩阵和的伴随同样没有固定规律。

这里最重要的是通过伴随矩阵求逆的公式，因此也推导出了二阶矩阵的逆快捷计算：主对角线元素对换、副对角线元素取反，再除以原行列式值:

初等矩阵

向量基础

内积与正交

设，

其内积表示为 其中,

若满足： 且二者均非0向量，称二者正交。

标准正交基

亦称规范正交基、标准正交向量组。对于一个单位向量组成的列向量组[α_{1}, α_{2}, ...α_{n}]，如果满足任意两个向量均正交，即：

那么该向量组被称为标准/单位正交向量组。

施密特正交化

正交关系除了表征向量关系是线性无关的，还有的好处是容易看出基向量，对线性方程组求解、变换关系处理等都比较方便。

线性无关的向量均可以被正交化，这里记住常用的施密特二维/三维公式即可：

两个线性无关向量组成的向量组

进行标准正交化：

得到的和为两个正交向量，进行单位化即可：

向量组。

对于三维的情况，正交化公式为：

单位化同理。

未完待续