《第3讲 统计分类(一)--贝叶斯分类器》由会员分享，可在线阅读，更多相关《第3讲 统计分类(一)--贝叶斯分类器（38页珍藏版）》请在金锄头文库上搜索。
1、模式识别 第三讲统计模式识别 一 贝叶斯分类方法 数理统计基础贝叶斯分类的基本原理最小错误率贝叶斯分类最小风险贝叶斯分类最大似然比贝叶斯分类 1 1 全概率公式和贝叶斯公式 1 条件概率 设A B是两个事件 且P B 0 则称为在事件B发生的条件下事件A发生的条件概率 2 全概率公式设某试验E的样本空间为S A为E的事件 B1 B2 Bn为S的一个划分 且P Bi 0 i 1 2 n 则P A P A B1 P B1 P A B2 P B2 P A Bn P Bn 称为全概率公式 一 数理统计基础 2 3 贝叶斯 Bayes 公式设试验E的样本空间为S A为E的事件 B1 B2 Bn为S的一个
2、划分 且P A 0 P Bi 0 i 1 2 n 则 一 数理统计基础 贝叶斯公式表达了两个相关事件在先后发生时的推理关系 3 2 随机变量的概念设E是随机试验 它的样本空间是S e 如果对于每一个 都有一个实数X e 与之对应 这样就得到一个定义在S上的单值实值函数X X e 称为随机变量 随机变量可分为离散型随机变量和连续型随机变量 一 数理统计基础 4 3 离散型随机变量及其分布 1 概念如果随机变量的全部取值是有限个或可列无限多个 则称为离散型随机变量 2 离散型随机变量的概率分布设离散型随机变量X所有可能取的值为xk k 1 2 X取各个可能值的概率 即事件 X xk 的概率 为P
3、X xk pk k 1 2 如果pk满足下面两个条件k 1 2 则称上式为离散型随机变量X的概率分布 一 数理统计基础 5 3 几种重要的分布 0 1 分布k 0 1 0 p 1 二项分布泊松分布 一 数理统计基础 6 4 随机变量的分布函数 1 概念设X是一个随机变量 x是任意实数 函数称为X的分布函数 2 性质 a F x 是一个不减函数 b 一 数理统计基础 7 5 连续型随机变量的概率密度 1 概念对于随机变量X的分布函数F x 存在非负函数f x 使对于任意实数x有则称X为连续型随机变量 其中f x 称为X的概率密度函数 2 概率密度函数的性质 一 数理统计基础 8 3 两种重要的连
4、续型随机变量均匀分布设连续型随机变量X具有概率密度则称X在区间 a b 上服从均匀分布 其分布函数为 一 数理统计基础 9 正态分布设连续型随机变量X具有概率密度则称X服从参数为 的正态分布或高斯分布 其分布函数为 一 数理统计基础 10 6 n维随机向量及其概率分布 1 设E是一个随机实验 它的样本空间是S e 设X1 X1 e X2 X2 e Xn Xn e 是定义在S上的随机向量 由它们构成的一个n维向量 X1 X2 Xn 叫做n维随机向量或n维随机变量 2 对于任意n个实数x1 x2 xn n元函数称为n维随机变量 X1 X2 Xn 的分布函数或随机变量X1 X2 Xn的联合分布函数
5、一 数理统计基础 11 7 随机向量的独立性设n维随机变量为 若任意实数有则称随机变量是相互独立的 一 数理统计基础 12 8 随机变量的数字特征 1 数学期望设离散型随机变量的分布律为若级数绝对收敛 则称其和为随机变量的数学期望或平均值 简称期望或均值 记为 即 一 数理统计基础 13 设连续型随机变量的密度函数为 若积分绝对收敛 称该积分值为随机变量的数学期望或平均值 简称期望或均值 记为 即 设X Y为任意两个随机变量 则有设X Y为相互独立的随机变量 则有 一 数理统计基础 14 2 方差设X是一个随机变量 若存在 则称为X的方差 记为D X 即与X具有相同量纲的量称为X的均方差或标准
6、差 记为方差表示随机变量X与其数学期望的偏离程度 一 数理统计基础 15 3 协方差和相关系数设是一个二维随机变量 若存在 则称它是随机变量X与Y的协方差 记为 即而当时 称为随机变量与的相关系数 协方差和相关系数是用来描述X与Y之间相互关系的数字特征 一 数理统计基础 16 9 参数估计 1 概念 就是要从样本出发去构造一个统计量作为总体中某未知参数的一个估计量 2 点估计 若总体X的分布函数的形式为已知 但它的一个或多个参数未知 则由总体X的一个样本去估计总体未知参数的值的问题就是参数的点估计问题 常用方法 矩估计法和极大似然估计法 评价标准 无偏性和有效性 一 数理统计基础 17 2 区
7、间估计 在理论与实际应用中 不仅需要知道参数 的近似值 还需要知道这种估计的精度是多少 这样就要求由样本构造一个以较大的概率包含真实参数的一个范围或区间 这种带有概率的区间称为置信区间 通过构造一个置信区间对未知参数进行估计的方法称为区间估计 一 数理统计基础 18 1 确定性分类和随机性统计分类以两类分类问题来讨论 设有两个类别 1和 2 理想情况 1和 2决定了特征空间中的两个决策区域 确定性分类 我们任取一个样本x 当它位于 1的决策区域时 我们判别x 1 当它位于 2的决策区域时 我们判别x 1 也可以说 当x位于 1的决策区域时 它属于 1的概率为1 属于 2的概率为0 随机性统计分
8、类 如我们任取一个样本x 当它位于 1的决策区域时 它属于 1的概率为小于1 属于 2的概率大于0 确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题 二 贝叶斯分类原理 19 2 先验概率 后验概率和类 条件 概率密度 先验概率 根据大量样本情况的统计 在整个特征空间中 任取一个特征向量x 它属于类 j的概率为P j 也就是说 在样本集中 属于类 j的样本数量于总样本数量的比值为P j 我们称P j 为先验概率 显然 有 P 1 P 2 P c 1后验概率 当我们获得了某个样本的特征向量x 则在x条件下样本属于类 j的概率P j x 称为后验概率 后验概率就是我们要做统计判别的依据
9、 类 条件 概率密度 是在某种类型条件下模式样本x条件下模式样本x出现的概率密度分布函数 二 贝叶斯分类原理 20 3 后验概率的获得 后验概率是无法直接得到的 因此需要根据推理计算由已知的概率分布情况获得 根据贝叶斯公式可得 其中 p x j 为类 j所确定的决策区域中 特征向量x出现的概率密度 称为类条件概率密度 P x 为全概率密度 可由全概率公式计算得到 二 贝叶斯分类原理 21 4 贝叶斯分类原理 根据已知各类别在整个样本空间中的出现的先验概率 以及某个类别空间中特征向量X出现的类条件概率密度 计算在特征向量X出现的条件下 样本属于各类的概率 把样本分类到概率大的一类中 利用贝叶斯方
10、法分类的条件 各类别总体的概率分布是已知的 要分类的类别数是一定的 二 贝叶斯分类原理 22 例 细胞识别问题 1正常细胞 2癌细胞经大量统计获先验概率P 1 P 2 对任一细胞样本x观察 有细胞光密度特征 有类条件概率密度 P x 1 2 可以把先验概率转化为后验概率 利用后验概率可对未知细胞x进行识别 二 贝叶斯分类原理 23 三 几种贝叶斯分类判别规则 1 最小错误率贝叶斯分类 用 j和 j分别表示两种不同的类型 用P 1 和P 2 分别表示各自的先验概率 用p x 1 和p x 2 分别表示两个类概率密度 根据全概率公式 样本x出现的全概率密度为 根据贝叶斯公式 在样本x出现的条件下
11、两个类型的后验概率分别为 24 这样 我们就规定样本x归属于后验概率较高的那种类型 即利用贝叶斯公式 可以得到最小错误率贝叶斯判别规则的等价形式 三 几种贝叶斯分类判别规则 25 例 某地区细胞识别 P 1 0 9 P 2 0 1未知细胞x 先从类条件概率密度分布曲线上查到 问该细胞属于正常细胞还是异常细胞 解 先计算后验概率 P x 1 0 2 P x 2 0 4 三 几种贝叶斯分类判别规则 26 2 最小风险贝叶斯分类 最小错误率贝叶斯分类只考虑分类错误的概率最小 但是 每次分类错误带来的损失是不一样的 例如 要判断某人是正常 1 还是肺病患者 2 于是在判断中可能出现以下情况 第一类 判
12、对 正常 正常 11 第二类 判错 正常 肺病 21 第三类 判对 肺病 肺病 22 第四类 判错 肺病 正常 12 第二类和第四类属于分类错误 显然 第四类错误带来的损失大于第二类错误带来的损失 三 几种贝叶斯分类判别规则 27 为评估分类错误的风险 引入以下概念 决策 i 表示把模式x判决为 i类的一次行动 决策空间 所有决策 i的集合 损失函数 ij i j 表示模式x本来属于 j类而采取的决策为 i时所带来的损失 这样就可以得到风险矩阵 条件风险 也叫条件期望损失 对未知x采取一个判决行动 i x 所冒的风险 或所付出的代价 三 几种贝叶斯分类判别规则 28 风险矩阵 三 几种贝叶斯分
13、类判别规则 29 最小风险贝叶斯判别规则 判别步骤 1 在给定样本x 且已知P j 和p x j j 1 2 c 根据贝叶斯公式计算出后验概率 2 利用计算出的后验概率和风险矩阵计算出采取 i的条件风险R i x 3 按照判别规则 比较各种决策的条件风险 把样本归属于条件风险最小的那一种判决 三 几种贝叶斯分类判别规则 30 最小错误率和最小风险两种判别规则的关系 设损失函数为0 1函数 条件风险为 表示对x采取决策 i的条件错误概率 三 几种贝叶斯分类判别规则 31 所以在0 1损失函数下 使的最小风险贝叶斯分类就等价于的最小错误率贝叶斯分类所以 最小错误率贝叶斯决策就是在0 1损失函数条件
14、下的最小风险贝叶斯分类 即 前者是后者的特例 三 几种贝叶斯分类判别规则 32 三 几种贝叶斯分类判别规则 33 3 最大似然比贝叶斯分类 最大似然比判别规则也是一种贝叶斯分类方法 它是把模式样本归属于这样的类型 i 类型 i分别与其它类型 j j 1 2 c j i 的似然比均大于相应的门限值 而其他类型 j j 1 2 c j i 分别与类型 i的似然比均小于相应的门限值 三 几种贝叶斯分类判别规则 34 由最小错误率判别规则 在两类问题中若则 将上式转换为 定义似然比 判别门限 最大似然比判别规则为 三 几种贝叶斯分类判别规则 35 由最小风险判别规则 在两类问题中若根据条件风险公式 若 有 三 几种贝叶斯分类判别规则 36 由贝叶斯公式可得 定义判别门限 所以 有 三 几种贝叶斯分类判别规则 37 讨论多类问题 定义 似然比 判别门限 则最大似然比贝叶斯分类的判别规则可以表达为 若Lij ij 则x i i j 1 2 c j i 三 几种贝叶斯分类判别规则
