最小二乘法的数学研究(2019-11-13)

最小二乘法的数学研究

1

问题的提出

已知一系列的数据点，为方便数学研究，往往寻找一个近似函数来表达。最容易想到的是采用插值多项式作为近似函数，它要求插值函数通过所有数据点，而对数据点以外的区间没有要求，那么存在以下几个问题：

1）这些数据点本身可能存在一定的测量误差，如果要求近似函数严格通过所有数据点，就会使近似函数保留全部误差，导致近似函数曲线可能存在畸形。

2）随着数据样本的增多，插值多项式的次数也会提高，导致计算过程繁琐耗时，缺乏实用价值。 2

目的

根据已知的数据点，寻找一个简单的近似函数，要求近似函数不必通过所有的数据点，但应与所有数据点的偏差在总体上尽可能的小。 3

最小二乘原理

已知一系列的数据点{(xi,yi)}（i1,2,，在某个函数类Φ{0(x),1(x),,m）

,n(x)}中寻求一个近

似函数，使近似函数与所有数据点偏差的平放和最小，称为最小二乘法（Least Square Estimation）。

设近似函数为

其中0(x),1(x),mp(x)a00(x)a11(x)ann(x)

,an为待定系数。

（1）

,n(x)是一组线性无关的函数组，a0,a1,令S[p(xi)yi]2，则

i1

Sa00(xi)a11(xi)i1mann(xi)yi

2（2）

根据多元函数有极值的必要条件，令

S0，得 akann(xi)yi0 （k0,1,

mS2k(xi)a00(xi)a11(xi)aki1,n） （3）

将上式改写成

ma0k(xi)0(xi)a1k(xi)1(xi)i1i1mmmank(xi)n(xi)k(xi)yi

i1i1mm（4）

记k(xi)l(xi)(k,l)，k(xi)yi(k,y)，则

i1i1

当k0,1,(k,0)a0(k,1)a1,n时，分别列举上式，得矩阵方程

(k,n)an(k,y)

（5）

作者：王安山 第 1 页

最小二乘法的数学研究

(0,0)(,)10(2,0)(n,0)(0,1)(0,2)(1,1)(1,2)(2,1)(2,2)(n,1)(n,2)(0,n)a0(0,y)a(,y)(1,n)11(2,n)a2(2,y)

an(n,y)(n,n)（6）

上式称为相应的法方程组。 0(x1)1(x1)2(x1)(x)(x)(x)122202令A0(x3)1(x3)2(x3)0(xm)1(xm)2(xm)n(xm)n(x1)a0y1ayn(x2)12n(x3)，ηa2，by3，上式可简化为

anym (ATA)ηATb （7）

由于矩阵A的列线性无关，系数行列式|ATA|0，所以方程组存在唯一解。 特别的，当nm时，方阵A可逆，方程两端同时左乘(AT)1，得

此时近似函数通过所有的数据点。 4

最小二乘特例

作为最小二乘最常见的一种情况，函数类取代数多项式，即k(x)xk，则近似函数为

则(k,l)xi1mklimAηb （8）

p(x)a0a1xa2x2anxn

（9）

，(k,y)xikyi，相应的法方程组为

i1

mmxii1m2xii1mxnii1xi1mmixi1mi1m2ixi1mi12ix3ixi3xi1mn1ixi4xi1mn2imxyii1i1mman10xxyiaiii11i1mm an222xxyiiii1i1anmmxnyxi2niii1i1nim（10）

5 基于QR分解的求解 最小二乘法的法方程组为

(ATA)ηATb （11）

上式可以采用LU分解法计算，当对A进行QR分解后，上式计算会更简单。 设AmnQmnRnn，其中Q为列标准正交矩阵，R为上三角矩阵且可逆，则

则法方程组可写为

ATA(QR)TQRRTQTQRRTR

（12）

作者：王安山 第 2 页

最小二乘法的数学研究

上式两端同时左乘(RT)1，得

(RTR)η(RTQT)b

（13）

RηQTb

由于R是上三角矩阵，所以可以直接回代。

注意，Q为列标准正交矩阵，只满足QTQE，而QQTE。

（14）

6 算例 已知数据点：

X Y 36.9 181 46.7 197 63.7 235 77.8 270 84.0 283 87.5 292 设近似函数p(x)abx，对应的法方程组为

66xii16xyiiai1i1 66bxi2xiyii1i16对应的代数方程为

6a396.9b1458 396.9a28365.28b101176.3解得：

a95.3524 b2.2337所得近似公式

y95.35242.2337x

作者：王安山 第 3 页