《数据挖掘基础知识-回归分析》由会员分享，可在线阅读，更多相关《数据挖掘基础知识-回归分析（27页珍藏版）》请在金锄头文库上搜索。
1、回归分析,本章内容,回归分析的基本原理,一元线性回归分析,多元线性回归分析,非线性回归分析,回归分析的基本原理,所谓回归分析法，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式。 对于下表中的数据：利用回归分析方法，得到如下的函数关系式：,一元线性回归分析,一元线性回归模型 模型参数估计和平均误差估计 一元线性回归模型的检验,一元线性回归模型,满足一元线性回归的基本条件： 所有的 的分布的均值都正好在一条直线上，称之为总体的（真实的）回归直线； 所有的分布都有同样的形状； 随机变量 是相互独立的； 给定 X 时 分布的形状是正态的，即 服从正态分布。 满足这些条件的回归模型称为一元线
2、性回归模型。 根据样本观测值，采用最小二乘法，得到了一条估 计的样本回归直线 。,模型参数估计和平均误差估计,参数估计：经过最小二乘法计算可得：求出参数a,b以后，就可以得到回归模型:,(1) (2) (3),SSE实际值与预测估计值之间的离差平方和。,标准误差：估计值与应变量值之间的平均平方误差。,（4-8）,模型参数估计和平均误差估计,平均误差估计：,一元线性回归模型的检验,线性方程的显著性检验关于回归系数b的统计推断,一元线性回归模型的检验,线性方程的显著性检验的方法有： 方差分解法 相关分析法 F检验 t检验 D-W检验,一元线性回归模型的检验-方差分解法,一元线性回归模型的检验-相关
3、分析法,一元线性回归模型的检验-F检验,一元线性回归模型的检验-t检验,一元线性回归模型的检验-D-W检验,多元线性回归分析,多元线性回归模型 参数估计 多元回归方差分析和显著性检验 多元回归模型的残差分析,多元线性回归模型,参数估计,多元回归方差分析和显著性检验,总离差平方和的分解和多元相关系数 回归离差平方和与偏相关系数,总离差平方和的分解和多元相关系数,回归离差平方和与偏相关系数,多元回归模型的残差分析,在这里我们主要考虑以下几种情形： 线性与非线性 共方差与异方差 独立与非独立 正态与非正态 多重共线性,非线性回归分析,非线性模型 非线性模型的线性化,非线性模型,主要的非线性模型有： 抛物线模型 双曲线模型 幂函数模型 指数函数模型 对数函数模型 逻辑曲线模型 多项式模型,非线性模型,抛物线模型双曲线模型幂函数模型指数函数模型对数函数模型,逻辑曲线模型多项式模型,非线性模型的线性化,倒数变换 倒数变换是用新的变量来替换原模型中变量的倒数，从而使原模型变成线 性模型的一种方法。 半对数变换 这种方法主要应用于对数函数模型的线性变换。 双对数变换 这种方法通过用新变量替换原模型中变量的对数，从而使原模型变换为线 性模型。 多项式变换 这种方法适用于多项式方程的变换。,
