最小二乘法具体推导公式 最小二乘法推导详细

最小二乘法的公式

最小二乘法公式：∑(X--X平)(Y--Y平）=∑X^2--nX平^2（针对y=ax+b形式）a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2)b=y(平均)-a*x（平均）

最小二乘法具体推导公式 最小二乘法推导详细

最小二乘法求a,b的公式

这牵涉连加符号,诶被西落,在此用∑表示.最小二乘法利用在减少误差上,所以必定有多组数据关于X.Y的.设为N组.所以

∑(Y)=b∑(X)+N*a

∑(X*Y)=b∑(X*X)+a∑(X)

∑为连加,就是把后面字母对应的数据都加起来!

如数据X=1.2.3.4.5,则∑(X)=1+2+3+4+5=15

数据Y=2.3.4.5.6 则∑(Y)=2+3+4+5+6=20

∑(X*Y)=1*2+2*3+3*4+4*5+5*6=

∑(X*X)=1*1+2*2+3*3+4*4+5*5=

因为有五个数据,所以这里的N=5

分别代入

最后得到关于a.b的二元一次方程组,

最小二乘法公式推导过程

假设现在有n对坐标系中的点

现在要做k阶多项式拟合，多项式函数如下

将已知的观测点数据代入上述公式得到如下n组等式：

......

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小，如下所示：

代入公式可以得到

可以通过上述公式对

求偏导后，令其为0来求解所有a的值，得到下面的式子

......

将上述方程整理归纳得

......

将上述方程用矩阵表述

将上述方程分解，令

那么上面的矩阵计算可以简化为

，所以得到

网上的一些证明到这里基本就结束了，但我觉得根据逆矩阵的特性还可以优化的，在矩阵中AB的逆等于B的逆乘A的逆，如下

化简可以得到a为X的逆乘Y

计算出X的逆矩阵乘Y得到的就是多项式的系数，就能得到一个多项式了，曲线拟合就算完成了。

但是有没有发现，X的逆矩阵计算量很大，还要明白如何求解逆矩阵的，用程序去实现也有一定难度。

后面会介绍一种法则，求解多项式的系数，套公式即可。以及用C语言实现最小二乘法的2次曲线拟合算法。

最小二乘法b的两种公式推导

最小二乘法b的两种公式推导如下：

这里的是为了区分Y的实际值y（这里的实际值就是统计数据的真实值，我们称之为观察值），当x取值(i=1，2，3……n)时，Y的观察值为，近似值为（或者说对应的纵坐标是）。

其中式叫做Y对x的回归直线方程，b叫做回归系数。要想确定回归直线方程，我们只需确定a与回归系数b即可。

设x，Y的一组观察值为：i = 1，2，3……n。

其回归直线方程为：当x取值(i=1，2，3……n)时，Y的观察值为，差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度。

实际上我们希望这n个离差构成的总离差越小越好，只有如此才能使直线最贴近已知点。换句话说，我们求回归直线方程的过程其实就是求离差最小值的过程。

一个很自然的想法是把各个离差加起来作为总离差。可是，由于离差有正有负，直接相加会互相抵消，如此就无法反映这些数据的贴近程度，即这个总离差不能用n个离差之和来表示。一般做法是我们用离差的平方和，即：

作为总离差 ，并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方，所以这种使“离差平方和为最小”的方法，叫做最小二乘法。

用最小二乘法求回归直线方程中的a、b的公式如下：

其中，、为和的均值，a、b的上方加“︿”表示是由观察值按最小二乘法求得的估计值，a、b求出后，回归直线方程也就建立起来了。

当然，我们肯定不能满足于直接得到公式，我们只有理解这个公式怎么来的才能记住它，用好它，因此给出上面两个公式的推导过程更加重要。在给出上述公式的推导过程之前，我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式：

接着是第二个公式：

基本变形公式准备完毕，我们可以开始最小二乘法求回归直线方程公式的推导了：

至此，公式变形部分结束，从最终式子我们可以看到后两项

与a、b无关，属于常数项，我们只需

即可得到最小的Q值，因此：

最小二乘法公式的推导过程

在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。

最小平方法(最小二乘法)是怎么推导出来的!

最小二乘法是一种数学优化技术,它通过最小化误差的平方和找到一组数据的最佳函数匹配.

最小二乘法是用最简的方法求得一些绝对不可知的真值,而令误差平方之和为最小.

最小二乘法通常用于曲线拟合.很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达.

比如从最简单的一次函数y=kx+b讲起

已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.

当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求.讲起来一大堆,既然你只问最小二乘法,我就讲这么多.这是大学里才学的内容,一般用于建模.