奇异值分解

目录

一、引言

二、核心定义

三、核心原理

四、计算步骤

五、常用计算算法

六、关键性质

七、典型应用

八、Python 实现示例

九、程序运行截图展示

十、总结

一、引言

奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种核心矩阵分解方法，可将任意矩阵分解为三个特殊矩阵的乘积，揭示矩阵的秩、特征结构和子空间信息，在数据压缩、降维、推荐系统等领域应用广泛。以下从定义、原理、计算方法、应用等方面详细介绍。

二、核心定义

对于任意 m×n 实矩阵 A，其奇异值分解为：，其中：

• U：m×m 正交矩阵，列向量为左奇异向量，是的单位正交特征向量。
• Σ：m×n 非负对角矩阵，对角线元素为奇异值，r=rank(A)，且​​（​ 是或的非零特征值）。
• V：n×n 正交矩阵，列向量为右奇异向量，是的单位正交特征向量，是 V 的转置。

三、核心原理

1. 对称矩阵特征分解：（n×n）和（m×m）均为对称半正定矩阵，可正交对角化，且非零特征值相同。
2. 奇异值与特征值关系：设​ 是的特征值，​ 是对应特征向量，则 ​​，左奇异向量。
3. 子空间映射：SVD 本质是 “旋转 - 拉伸 - 旋转” 的几何变换，U 和 V 对应旋转，Σ 对应拉伸，清晰刻画矩阵对向量空间的作用。

四、计算步骤

1. 计算，对其进行特征分解，得到特征值和单位正交特征向量 ​，排序，构造。
2. 计算奇异值（i=1,…,r），构造 Σ（对角线为，其余为 0）。
3. 计算左奇异向量 ​（i=1,…,r），扩充​ 为零特征值对应的正交基，构造。
4. 验证。

五、常用计算算法

算法	核心思想	复杂度	精度	适用场景
GRSVD	豪斯霍尔德变换将矩阵化为双对角阵，再用 QR 算法求特征值	约（m≥n）	较高	大规模矩阵，追求效率
Jacobi SVD	通过平面旋转逐步消去非对角元，迭代逼近对角阵	高于 GRSVD	高	小规模矩阵，要求高精度
Lanczos SVD	基于 Lanczos 迭代近似计算前 k 个大奇异值及向量	约 O(mnk)（k 远小于 min (m,n)）	较高	大规模矩阵的低秩近似

六、关键性质

1. 唯一性：Σ 由奇异值唯一确定（按降序排列），U 和 V 不唯一（零奇异值对应子空间基可任意选取）。
2. 最佳低秩近似：对任意秩 k≤r，取前 k 个奇异值及对应向量，得到的​ 是 A 的最优秩 k 近似（Frobenius 范数最小）。
3. 秩与奇异值：矩阵秩等于非零奇异值个数，可通过截断小奇异值实现降维与去噪。

七、典型应用

1. 数据降维：保留前 k 个大奇异值，实现高维数据低维映射，如 PCA（基于 SVD 推导）。
2. 图像压缩：截断小奇异值，用少量参数重构图像，平衡压缩比与质量。
3. 推荐系统：矩阵分解法中，用 SVD 分解用户 - 物品评分矩阵，预测缺失评分。
4. 文本主题建模：对文档 - 词矩阵 SVD，提取核心主题，实现文本聚类与检索。
5. 信号处理：分离信号与噪声，保留重要奇异值对应的信号成分。

八、Python 实现示例

import numpy as np # 构造示例矩阵 A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # 奇异值分解 U, sigma, VT = np.linalg.svd(A) # 构造对角矩阵 Σ Sigma = np.zeros_like(A, dtype=float) np.fill_diagonal(Sigma, sigma) # 验证重构 A_recon = U @ Sigma @ VT print("原始矩阵 A:\n", A) print("重构矩阵 A_recon:\n", np.round(A_recon, 6))

九、程序运行截图展示

十、总结

奇异值分解（SVD）是线性代数中的重要矩阵分解方法，可将任意矩阵分解为三个特殊矩阵的乘积（U、Σ、V），揭示矩阵的秩、特征结构和子空间信息，是机器学习、数据挖掘等领域的基础算法之一。其核心原理包括对称矩阵特征分解、奇异值与特征值关系及子空间映射特性。SVD具有最佳低秩近似等关键性质，广泛应用于数据降维、图像压缩、推荐系统等领域。计算算法包括GRSVD、JacobiSVD等，可根据需求选择。通过Python的numpy库可便捷实现SVD分解与重构。SVD为处理高维数据提供了有效的数学工具。