《贝叶斯统计_先验分布的确定》由会员分享，可在线阅读，更多相关《贝叶斯统计_先验分布的确定（17页珍藏版）》请在金锄头文库上搜索。
1、第三章先验分布的确定3.1主观概率3.1.1概率的公理化定义定义：设Q为一个样本空间，F为Q的某些子集组成的一个事件域，如果对任一事件A F,定义在F上一个实值函数P(A满足下列条件：非负性公理：对于每一事件 A,有P(A) 0;正则性(规范性)公理：P(Q )=1;(3)可列可加性(完全可加性)公理：设Ai, A2, 是互不相容的事件，即对于i 勺 AAj- , i, j=1, 2,，则有QCQ0P(UA)八 P(A)i =1i =1则称P( A)为事件A的概率(Probability),称三元素(Q, F , P)为概率空间(Probability space)。概率是定义在0-域 F上的
2、一个非负的、正则的、可列可加的集函数。3.1.2主观概率在经典统计中，概率是用三条公理定义的：1 )非负性；2)正则性；3)可 加性。概率确定方法有两种：1)古典方法；2)频率方法。实际中大量使用的是频率方法，所以经典统计的研究对象是能大量重复的随机现象，不是这类随机现象就不能用频率的方法去确定其有关事件的概率。这无疑把统计学的应用和研究领域缩小了 。在经典统计中有一种习惯，对所得到的 概率都要给出频率解释，这在有些场所是难于做出的。譬如，天气预报：“明天下雨的概率是0.8”。贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此 如何用人们的经验和过去的历史资料确定概率和先验分布
3、是贝叶斯学派要研究 的问题贝叶斯学派是完全同意概率的公理化定义，但认为概率也是可以用经验确 定。这是与人们的实践活动一致。这就可以使不能重复或不能大量重复的随机现 象也可谈及概率。同时也使人们积累的丰富经验得以概括和应用。贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给 出个人信念。这样给出的概率称为 主观概率。下面举几个例子：一个企业家认为“一项新产品在未来市场上畅销” 的概率是0.8,这里的0.8 是根据他自己多年的经验和当时一些市场信息综合而成的个人信念。一位医生要对一位病人动手术，他认为成功的概率是0.9,这是他根据手术的难易程度和自己的手术经验而对“手术成功”所给出
4、的把握程度。这样的例子在我们生活，生产和经济活动中也是常遇见的，他们观察的主观 概率绝不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的 经验，甚至是这一行的专家。并能对周围信息和历史信息进行仔细分析， 在这个 基础上确定的主观概率就能符合实际。 所以应把主观概率与主观臆造，瞎说一通 区别开来。主观概率要受到实践检验，要符合概率的三条公理，通过实践检验和公理验 证，人们会接受其精华，去其糟粕。主观概率是频率方法和经典方法的一种补充，有了主观概率至少使人们在频 率观点不适用时也能谈论概率，使用概率和统计方法。主观概率并不反对用频率方法确定概率，但也要看到它的局限性。3.1.3确定主观
5、概率的方法(1) 用对立事件的比较来确定主观概率(最简单的方法)例3.1一位出版商要知道一本新书畅销(事件 A)的概率是多少，以决定是否与作 者签订出版合同。他在了解这本新书的内容后，根据他自己多年出书的经验认为 该书畅销的可能性较大，畅销( A)比畅销(A )的可能性要高出一倍，即P(A) =2P(A)，由此根据概率的性质 P(A) P(A)=1，可以推得P(A) = 2/3，即该书畅销的主观概率是2/3（2）用专家意见来确定主观概率（最常用）例3.2有一项带有风险的生意，预估计成功（记为 A）的概率。为此，决策者去拜 访这方面的专家（如董事长，银行家等），向专家提这样的问题：“如果这种生意
6、 做100次，你认为会成功几次？”专家回答：“成功次数不会太多，大约60次。” 这时P（A） =0.6是专家的主观概率，可此专家还不是决策者，过分谨慎的。决策者决定修改专家的估计，把0.6提高到0.7。这样P（A） =0.7就是决策者自己的主观概率。（3）通过向多位专家咨询后，经修正和综合获得主观概率例3.3某公司再决定是否成产某种新产品时，想估计该产品在未来市场上的畅销（记为A ）的概率是多少，为此公司经理召集设计，财会，推销和质量管理等方 面人员的座谈会，仔细分析影响新产品销路的各种因素， 大家认为此新产品质量 好，只要定价合理，畅销可能性很大，而影响销路的主要因素是市场竞争。据了 解，还
7、有一家工厂（简称外厂）亦有生产此新产品的想法，该厂技术和设备都比 本厂强。经理在听取大家的分析后，向在座各位提出二个问题：（i）假如外厂不生产此新产品本公司的新产品畅销的可能性（即概率）有 多大？（ii）假如外厂要生产此新产品本公司的新产品畅销的可能性（即概率）有 多大？在座人员根据自己的经验各写了二个数，经理在计算了二个平均值后，略加修改，提出自己的看法：在上述二种情况下，本公司新产品畅销概率各为0.9和0.4，这是经理在征求多位专家意见后所获得的主观概率。另根据本公司情报部 门报告，外厂正忙于另一项产品开发，很可能无暇顾及生产此新产品。 经理据此 认为外厂将生产此新产品的概率为 0.3,不
8、产此新产品的概率为0.7。利用上面4个主观概率，由全概率公式可得本公司生产此新产品获畅销的概率为0.9 0.7 0.4 0.3 = 0.751）向专家提的问题要设计好，既要使专家易懂又要使专家回答不是模棱两可。2）要对专家本人比较了解，以便做出修正，形成决策者自己的主观概率。3）通过向多位专家咨询后，经修正和综合获得主观概率，关键在于把问题设计 好，便于往后综合，即在提出问题时，就要想到如何综合。（4）假如有历史数据，要尽量利用，帮助形成初步概念，然后再做一些对比修正，再形成个人信念。例3.4某公司经营儿童玩具好多年，今设计了一种新式玩具将投入市场。现要估计此新式玩具在未来市场上的销售情况。经
9、理查阅了本公司过去 37种新式玩具的 销售记录，得知销售状态是畅销（A ）、一般（A ）、滞销（A ）分别有29, 6, 2种，于是算得过去新式玩具的三种销售状态的概率分别为仝=0.784， =0.162， 一 =0.054373737考虑到这次设计玩具不仅外形新颖， 而且在开发儿童智力上有显著突破， 经理认 为此种新玩具会更畅销一些，滞销可能性更小，故对上述概率作了修改，提出自 己的主观概率如下：P（A）=0.85，卩（宀）=0.14，卩（民）=0.01根据经验和历史资料等先验信息给出主观概率没有什么固定的模式。但是其所确定的主观概率都必须满足概率的三条公理，即1）非负性2）正则性3）可列可
10、加性当发现所确定的主观概率与这三条公理及其推出的性质有不和谐时，必须立 即修正，直到和谐为止3.2利用先验信息确定先验分布在贝叶斯统计方法中关键的一步是确定先验分布。1、当总体参数二是离散时，即参数空间 只含有限个或可数个点时，可对 中每个点确定一个主观概率。2、当总体参数，是连续时，即参数空间是实数轴或其上某个区间时，要构造一个先验密度），就有些困难了。当二的先验信息足够多时，下面有三个方法可供使用。3.2.1直方图法这个方法与一般的直方图法类似， 步骤如下：1）把参数空间分成一些小区间。2）在每个小区间上决定主观概率或依据历史数据确定其频率。3）绘制直方图。4）在直方图上做一条光滑的曲线，
11、此曲线就是 二）。下面举个例子：例3.6表3.1每周平均销售量统计表平均销售量（两）频率0，50.051(5, 100.259(10，150.327(15, 200.224(20，250.095(25，300.044(30，350.001某药材店记录了吉林人参的每周销售量，现要寻找每周平均销售量二的概率 分布。现用直方图法来确定它。1）把参数空间分成一些小区间。统计过去二年 102个营业周的销售记录, 每周平均销售量最高不超过35两。若以5两作为小区间长度，共分为7个小区 间。2）在每个小区间上决定主观概率或依据历史数据确定其频率。这里用的是 后者，其频率见表3.1。3）绘制频率直方图。这里绘
12、制的频率直方图见图3.1,其中纵坐标为频率/5。j- 1 毎阖平均销書矍:的宜龙圉4）在直方图上作一条光滑的曲线，此曲线就是二G ）。在作光滑曲线时，尽量在每个小区间上使用得曲线下的面积与直方图的面积相等。这条曲线已在图 3.1上画出，禾U用此曲线可求出一个单位区间上的概率，女口P（20 二 211 二（20.5） =0.03注意：这样得到的先验密度常常仅限于有限区间上，有时使用也不方便。下面这 种方法更为适用。3.2.2选定先验密度函数形式再估计其超参数要点：（1） 根据先验信息选定 二的先验密度函数的形式 二（旳。（2）当先验分布中含有未知参数（即超参数）时，给出超参数的估计值方法常用，但
13、也极易误用。因为先验密度 二（二）的函数形式选用不当将会导 致以后推导失误。例3.7在例3.6中对周平均销售量 匕选用正态分布NC：2）作为先验分布，于是确定先验分布问题就能转化为估计超参数和2的问题。这可从每周平均销售量统计表上作出估计。若对的每个小区间用其中点作代表，则可算得和2的估计如下：心2.5 0.051. 32.5 0.001 =13.4575(2.5 -13.4574)2 0.051. (32.5 -13.4574)2 0.001 =36.0830这表明，该商店每周平均销售量二的先验分布为N(13.4574,36.0830)。用此先验分布可以算得:P(20 二:21) =(21
14、-13.45756.0069)：(20 -13.45756.0069) = 0.0350这个例子说明，若能从先验信息整理加工中获得前几阶先验矩，然后用其估计先 验分布的各个参数。在给定先验分布形式时决定其中先验参数的另一个方法是从 先验信息中获得几个分位数的统计值，然后选择先验分布中的参数使其尽可能地 接近这些分位数。下面再看一个例子。例3.8 设参数的取值二范围是(-：,：)，它的先验分布具有正态分布形式。若从先验信 息可以得知：(1) 先验中位数为0;(2) 上下四分位数为-1和1，即先验的0.25分位数和0.75分位数为-1和1 要确定先验分布N(=.2)中的超参数和2对正态分布，均值和
15、中位数相等故亠-0另外由0.75分位数为1,可列出方 程 P(：1)=0.75或P(v/：1/二)=0.75。查标准正态分布表可知1/；-0.675或;-1.481这样就可得先验分布为N(0,1.4812)。另外，若设二的先验分布为柯西分布CG ,:)，其密度函数为它的期望与方差都不存在，但其各分位数都有。由于柯西密度函数是关于:的对 称函数，故其中位数是：。由已知条件知:=0。另外由-1是1/4分位数可得方 程-1 - f -3_ 日=1/4 8邛2 +日2由此可算得=1。这时二的先验分布为柯西分布C(0,1)。这是标准柯西分布。这样一来，我们面临着二个先验分布都满足给定的先验信息。假如这二个先 验分布差异不大，对后验分布影响也不大，那可任选一个，假如面临着二个差异 极大的先验分布可供选择时，我们应慎重选择，因为不同的选择对后验分布影响 也会很大。如在本例中正态分布 N(0,1.4812)与柯西分布C(0,1)在形状是很相似， 都是
