最小二乘法在线性和非线性回归中的应用.pptx

会计学 1 最小二乘法在线性和非线性回归中的应用 2 什么是最小二乘法？ 最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小. 第1页/共38页 3 线性回归 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 第2页/共38页 4 非线性回归 有一类模型，其回归参数不是线性的，也不能通过转换的方法将其变为线性的参数。这类模型称为非线性回归模型。在许多实际问题中，回归函数往往是较复杂的非线性函数。非线性函数的求解一般可分为将非线性变换成线性和不能变换成线性两大类。这里主要讨论可以变换为线性方程的非线性问题。 第3页/共38页 5 第4页/共38页 6 两变量间的关系 确定性关系：两变量间的函数关系 圆的周长与半径的关系：C=2πR 速度时间与路程的关系：L=ST 非确定性关系：两变量在宏观上存在关系，但并未精确到可以用函数关系式来表达。 青少年的升高与年龄关系 升高与体重的关系 药物浓度与反应率的关系 第5页/共38页 7     第6页/共38页 8 多元函数极值存在必要条件 第7页/共38页 9 多元线性回归 第一步:先选定一组函数 r1(x), r2(x), …rm(x), m<n, 令 f(x)=a1r1(x)+a2r2(x)+ …+amrm(x) （1） 其中 a1,a2, …am 为待定系数。 第二步: 确定a1,a2, …am 的准则（最小二乘准则）： 使n个点（xi,yi) 与曲线 y=f(x) 的距离i 的平方和最小 。 问题归结为，求 a1,a2, …am 使 J(a1,a2, …am) 最小。 第8页/共38页 10 线性最小二乘法的求解：预备知识 超定方程组：方程个数大于未知量个数的方程组 超定方程一般是不存在解的矛盾方程组。 第9页/共38页 11 线性最小二乘法的求解 定理：当RTR可逆时，超定方程组（3）存在最小二乘解，且即为方程组 RTRa=RTy 的解：a=(RTR)-1RTy 所以，曲线拟合的最小二乘法要解决的问题，实际上就是求以下超定方程组的最小二乘解的问题。 第10页/共38页 最小二乘法原理是用来求解线性方程组的，非线性方程经线性化后方可应用该原理。通常在测量中遇到的问题不一定都是线性问题，必须先把非线性问题线性化，然后求解。 12 非线性回归 第11页/共38页 13 一、有时，我们希望用如下类型的函数： 去近似一个由一组观测数据（列表）所描绘的函数，其中p 和q 是待定的两个参数.显然s已非p和q的线性函数.怎样线性化呢？为此，我们在等式两端取对数，得到 记 则等式变成 这是一个一次多项式，它的系数和可以用最小二乘法求得. 第12页/共38页 14 二、我们经常希望用函数 去近似一个以给定的列表函数，其中A,C是待定的参数，这时，我们可以对等式的两端取对数 记 则等式变成 这样仍可用最小二乘法定出（从而也就定出了A,C ），得到近似函数 第13页/共38页 15 下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型、抛物线型和指数曲线型的方程的参数估计方法 。 第14页/共38页 16 直线型 直线方程的一般形式为： 令 为最小值，分别为a和b求偏导数，并令导数等于0，得到联立方程组。解方程组，即可得到参数的计算公式 。 第15页/共38页 17 抛物线型 抛物线方程的一般形式为 令 为最小值，分别为 a、b、c求偏导数,并令导数等于0,得到联立方程组解方程组,即可得到参数的计算公式。 第16页/共38页 18 指数曲线型 指数曲线的一般形式为 取对数，将指数曲线转化成对数直线形式 用最小二乘法估