SVD

奇异矩阵: 方阵不可逆.只能是方阵
奇异值分解: 任何一个矩阵都可以做奇异值分解,不需要可逆,也不需要方阵

对于任意矩阵
都有

可以将SVD认为是换坐标系,拉伸,再换坐标系的过程

第一次换坐标系(旋转): 右奇异向量矩阵
拉伸: 奇异值矩阵(对角奇异值矩阵)
第二次换坐标系(旋转): 左奇异向量矩阵

矩阵	来源	向量	性质
	的特征向量	右奇异向量	正交,
	的特征向量	左奇异向量	正交,
	特征值开根号	奇异值	对角元素非负

最关键的是:

是什么？
它基本上是一个对角矩阵：

这些：

就叫 奇异值（singular values），一般按照：
排列。

你可以把它们理解成：
每一个方向包含的信息量 / 重要程度。
例如：

如何求解奇异值

求 SVD 中的奇异值 ()，最核心的方法就是：

也就是说：
先求 () 的特征值 ()，再对特征值开平方，就是 () 的奇异值。

举例:

截断SVD

如何通过SVD实现矩阵压缩?
截断SVD
奇异矩阵中的奇异值
即对角线上的奇异值从大到小排列

可以将一个矩阵X分解为多个简单矩阵的和
大小决定了这个简单矩阵的权重
如果只能用rank K来近似X
选择前K个简单矩阵
即