基本统计-(3)

《基本统计-(3)》由会员分享，可在线阅读，更多相关《基本统计-(3)（64页珍藏版）》请在金锄头文库上搜索。

1、R R语言语言与数据分析培训与数据分析培训 第3讲 常见统计分析 内容提要 描述统计 频数表分析 方差分析 t检验 卡方检验 线性回归 相关分析 3.1 描述分析(Descriptive statistics) 描述统计统计 就是把数据集所包含的信息加以简简要地概况 ，如计计算数据的数字特征、制作频频数表和频频数图图等 等，用所获获得的统计统计 量和图图表来描述数据集所反映 的特征和规规律，使得研究的问题问题 更加简单简单 、直观观。 描述性统计统计 主要包括反映数据集中趋势趋势 的特征值值(比如 平均数、中位数、众数、分位数)、数据离散程度的 特征值值(比如方差、标标准差、值值域、变变异系数

2、)和数 据分布形态态的特征值值(比如偏度、峰度)。 3.1.1使用summary()函数 oats summary(oats) summary(oats) Blocks Nitrogen Subplots Variety Wplots yield Blocks Nitrogen Subplots Variety Wplots yield Min. :1.0 0.2_cwt:18 Min. :1.0 Golden_rain:24 Min. :1 Min. : 53 Min. :1.0 0.2_cwt:18 Min. :1.0 Golden_rain:24 Min. :1 Min. : 53 1s

3、t Qu.:2.0 0.4_cwt:18 1st Qu.:1.8 Marvellous :24 1st Qu.:1 1st Qu.: 86 1st Qu.:2.0 0.4_cwt:18 1st Qu.:1.8 Marvellous :24 1st Qu.:1 1st Qu.: 86 Median :3.5 0.6_cwt:18 Median :2.5 Victory :24 Median :2 Median :102 Median :3.5 0.6_cwt:18 Median :2.5 Victory :24 Median :2 Median :102 Mean :3.5 0_cwt :18

4、Mean :2.5 Mean :2 Mean :104 Mean :3.5 0_cwt :18 Mean :2.5 Mean :2 Mean :104 3rd Qu.:5.0 3rd Qu.:3.2 3rd Qu.:3 3rd Qu.:121 3rd Qu.:5.0 3rd Qu.:3.2 3rd Qu.:3 3rd Qu.:121 Max. :6.0 Max. :4.0 Max. :3 Max. :174 Max. :6.0 Max. :4.0 Max. :3 Max. :174 3.1.2 使用stat.desc()函数 library(pastecs); options(digits=2

5、) stat.desc(oats$yield, norm=T) stat.desc(oats$yield, norm=T) stat.desc(oats$yield, norm=T) nbr.val nbr.null nbr.na min max range nbr.val nbr.null nbr.na min max range 72.00 0.00 0.00 53.00 174.00 121.00 72.00 0.00 0.00 53.00 174.00 121.00 sum median mean SE.mean CI.mean.0.95 var sum median mean SE.

6、mean CI.mean.0.95 var 7486.00 102.50 103.97 3.19 6.36 732.20 7486.00 102.50 103.97 3.19 6.36 732.20 std.dev coef.var skewness skew.2SE kurtosis kurt.2SE std.dev coef.var skewness skew.2SE kurtosis kurt.2SE 27.06 0.26 0.26 0.47 -0.46 -0.41 27.06 0.26 0.26 0.47 -0.46 -0.41 normtest.W normtest.p normte

7、st.W normtest.p 0.98 0.48 0.98 0.48 标准差（std.dev）和标准误（SE.mean） 标准差（std.dev） 真实均值 SE 样本均值 当样本含量 n 足够大时，标准差趋向稳定；而标准误随n的增大而减小，甚至趋于0 。 标准差（std.dev）和标准误（SE.mean） 比如，某学校共有500名学生，现在要通过抽取样本 量为30的一个样本，来推断学生的身高。这时可以依据抽 取的样本信息，计算出样本的均值与标准差。如果我们抽 取的不是一个样本，而是10个样本，每个样本30人，那么 每个样本都可以计算出均值，这样就会有10个均值。也就 是形成了一个10个数字

8、的数列，然后计算这10个数字的标 准差，此时的标准差就是标准误。但是，在实际抽样中我 们不可能抽取10个样本。所以，标准误就由样本标准差除 以样本量来表示。当然，这样的结论也不是随心所欲，而 是经过了统计学家的严密证明的。 SE.mean= std.dev / n1/2 在实际的应用中，标准差主要有两点作用，一是统 计量样本离散程度的表征；二是用来对样本进行 标准化处理，即样本观察值减去样本均值，然后 除以标准差，这样就变成了标准正态分布。标准 误的作用主要是用来做区间估计，常用的估计区 间是均值加减n倍的标准误（例如95%的置信区间 是：均值+1.96*SE） 标准差（std.dev）和标准

9、误（SE.mean） 95%的置信区间：假设上面这个随机抽样估计学生身高的 例子，抽样100次，每次抽10个学生测量身高，均值估计 值及标准误为 152cm12cm。但有时需要表示为估计量 的95%的置信区间152cm-1.96*12cm， 152cm+1.96*12cm。首先要解释这个置信区间有什么意 义，可以解释为，如果从再从总体中抽样100次（每次抽 样10个），产生100个平均值，这100个平均值将有95次 落在152cm-1.96*12cm，152cm+1.96*12cm这个范围内 ，5次落在这个范围外，如果抽样次数越多，这个推断越 准确。为什么会有这样的结论呢？这个来源于中心极限定

10、 理的应用：任何分布(总体)抽样n次，每次抽样的和符合正 态分布。通俗一点说, 不管是学校的学生身高是怎么分布, 每次随机抽取10个求和, 抽取n次，这n个身高总和是符合 正态分布的。平均身高为身高总和除于10，所以平均身高 也是正态分布的。正态分布双尾95%的分界点所对应的值 刚好是1.96。 峰度（Kurtosis） 峰度（Kurtosis）是描述某变量所有取值分布形态陡 缓程度的统计量。 它是和正态分布相比较的。 Kurtosis=0 与正态分布的陡缓程度相同。 Kurtosis0 比正态分布的高峰更加陡峭尖顶 Kurtosis0 正偏差数值较大，为正偏或右偏。长尾巴拖在右边 Skewn

11、ess describe(oats$yield) var n mean sd median trimmed mad min max range skew kurtosis se 1 1 72 104 27 102 103 27 53 174 121 0.26 -0.46 3.2 3.2 频数表(Frequency table)分析 频数表分析是对数据集按数据范围分成若干区间， 即分成若干组，求出每组组中值，各组数据用组中值代 替，计算各组数据的频数，并作出频数表。 频数表分析例子 summary(oats$yield) # 计算频数 A round(prop.table(A) * 100,2)

12、 # 计算频数比例 (40,60 (60,80 (80,100 (100,120 (120,140 (140,160 (160,180 2.8 16.7 29.2 23.6 18.1 6.9 2.8 3.3 方差分析ANOVA 方差分析是一种在若干组能相互比较的试验数据中，把 产生变异的原因加以区分的方法与技术，其主要用途是 研究外界因素或试验条件的改变对试验结果影响是否显 著。 类型：单因素方差分析(One-way ANOVA)、双因素方差 分析(Two-way ANOVA)或多元方差分析(MANOVA)。 方差分析的基本模型是线性模型，并假设随机变量是独 立、正态和等方差的。 方差分析是根

13、据平方和的加和原理，利用 F 检验，进而 判断试验因素对试验结果的影响是否显著。 3.3.1 单因素方差分析 # 建立数据集df # yield print(duncan.test(fit,“Treat“,alpha=0.05) $statistics Mean CV MSerror 26 9.9 6.7 $means yield std.err r Min. Max. A1 27 1.3 4 24 30 A2 24 1.3 4 21 27 A3 28 1.3 4 25 31 A4 32 1.3 4 28 33 A5 20 1.3 4 16 22 $groups trt means M 1 A

14、4 32 a 2 A3 28 ab 3 A1 27 b 4 A2 24 b 5 A5 20 c 数据正态性、等方差的检验 #数据正态性检验 library( car ) fit.2 shapiro.test(resid(lm(yield Treat, data = df ) Shapiro-Wilk normality test data: resid(lm(yield Treat, data = df) W = 0.87, p-value = 0.0126 bartlett.test(yield Treat, data = df) Bartlett test of homogeneity of variances data: yield by Treat Bartletts K-squared = 0.051, df = 4, p-value = 0.9997 3.3.2 双因素方差分析 df (duncan.test(fit, “B“, alpha = 0.05) $means yield std.err r Min. Max. B1 74 1.6 6 59 90 B2 76 1.6 6 60 90 B3 80 1.6 6 67 92 $groups trt means M 1 B3 80 a 2 B2 76 ab 3 B1