在矩阵论和信号处理中,奇异值分解(Singular Value Decomposition, SVD) 是一个极其重要的工具。它不仅是一个数学分解公式,更是连接数据压缩、特征提取和深度学习优化的桥梁 。
- 概念介绍:什么是奇异值,它有什么作用?
奇异值分解的定义
对任意矩阵 A \in \mathbb{R}^{m \times n},SVD 表示为:
A = U , \Sigma , V^T
其中:
• U \in \mathbb{R}^{m \times m}:左奇异向量矩阵(正交基,描述输出方向);
• \Sigma \in \mathbb{R}^{m \times n}:奇异值对角矩阵(非负实数,按大小排序);
• V \in \mathbb{R}^{n \times n}:右奇异向量矩阵(正交基,描述输入方向)。
奇异值的物理意义
• 几何解释:矩阵 A 作用在单位圆上,会把它拉伸成椭圆。椭圆的长短轴就是奇异值,方向由 U, V 决定。
• 能量解释:奇异值的平方 \sigma_i^2 表示矩阵在对应方向上的能量贡献。
• 工程意义:奇异值排序体现了矩阵的重要模式。大奇异值决定主要结构,小奇异值常对应细节或噪声。