第三讲 线性最小二乘问题

最小二乘问题 (Least Squares) 包括线性最小二乘问题, 总体最小二乘问题, 等式约束最小二乘问题, 刚性加权最小二乘问题等等. 它在统计学, 最优化问题, 材料与结构力学, 信号与图像处理等方面都有着广泛的应用, 是计算数学的一个重要研究分支, 也是一个活跃的研究领域.

本讲主要介绍求解线性最小二乘问题的三种常用方法: 正规方程法 (也称法方程法), QR 分解法和 SVD 分解法. 一般来说, 正规方程法是最快的, 特别是当 $A$ 的条件数较小时, 正规方程法几乎与其他方法一样精确. 而 SVD 分解法是最慢的, 但结果最可靠.

为了方便起见, 我们有时将线性最小二乘问题 (3.1) 简称为最小二乘问题

关于最小二乘问题的相关参考资料

Ake Bjorck, Numerical Methods for Least Squares Problems, 1996 [16]
$\triangleright$ 魏木生, 李莹, 赵建立, 广义最小二乘问题的理论与计算 (第二版), 2020 [149]