probability课件.ppt

对于x的同一个值，y的值是随机的是因 为除了x会影响y之外，还有很多未知的因素 在影响y，因此因变量y受到的影响分为两部 分，一部分是由x引起的，另一部分是其它因 素引起的。自变量x的影响可以用在给定x时y 的期望值E(y/x)=f(x)来刻画，随机因素的影响 综合为一个随机变量e，回归模型表示为 y=f(x)+e，合理的假设是E(e)=0，Var(e)= 最简单的情况就是f(x)为线性函数 时，即如果没有其它因素，y是x的线性函数 时，回归方程为 ，称为简单 线性回归模型。 在实际问题中，会得到自变量的n个观察 值 ，相应得到y的n个观察值 。 若观测是独立进行的，则有 yi=??0+??1xi+ei 其中ei，i=1,2,?,n 为随机误差，e1,e2,?,en相 互独立，服从N(0, )分布。 回归分析的主要任务是 1）对系数??0，??1做参数点估计 2）对误差的方差的估计 3）对参数做区间估计和假设检验。 4）对因变量做预测 1）参数估计 用最小二乘法，让直线 对于 所有数据点上的偏差之和最小，即取使得 最小的 作为参数的估计值，令 得 其中 可以证明 方差最小的线性无 偏估计 ，而且与极大似然估计量相同。 2）误差的方差估计 是随机变量ei的估计量，称为 残差（residual） 残差平方和定义为 可以证明 为 的无偏估计。 越小，曲线拟合的越好。( ) 3）参数的区间估计和假设检验 由以上的估计量，可以证明以下结论： 与 相互独立, 服从 分布 ??1的1-??置信区间为 若在95%的置信区间内，不含有0，说明 恒大于零或恒小于零，这时x对y的有正效应 或负效应。 一般的假设检验的结论请同学们自己学习。 这里介绍另一种检验方法。 决定系数 和F统计量 对假设H： =0 的双边检验就是对模型 有效性的检验。假设的含义是变量x对因变量 y没有影响。除了可以用t统计量的假设检验以 外，还可以用决定系数 和F统计量. 用“总平方和” 来从总体上度量 的变化的大小。 可以看到 可以分为两部分的和： 其中 为当 时回归函数 在 点的“预测值”。 表示由自变量 引起的因变量的变化。残差 表示由随机误差引起的因变量的变化。 由自变量引起的因变量的总变化可以用回归平方和 由随机误差引起的因变量的总变化用残差 平方和 可以证明SST=SSR+SSE 可以证明 可以看出E(SST)由两部分组成，其中 为自变量的影响， 为误差的影响。 当因变量由自变量引起的变化占因变量的 总变化量的主要部分时，可以认为模型是有 效的。由此定义统计量 0≤ ≤1 称为“决定系数”(coefficient of determination)。当 接近于1时，回归平方和 占的比重大，说明由自变量引起的变化大， 因此自变量的影响大， 越接近于1，模型越 有效，越接近于0，越无效。 设统计量 注意到当 =0时，F的值大致为1，当 ≠0 时，F的值倾向大于1，且 越大，F越大。 因此F可以作为假设H： =0 的检验统计量。 可以证明SSR与S