《小数据集贝叶斯网络学习资料课件》由会员分享，可在线阅读，更多相关《小数据集贝叶斯网络学习资料课件（71页珍藏版）》请在金锄头文库上搜索。
1、系统工程博士学位论文答辩,题目：基于小数据集的BN学习及其在威胁评估中的仿真应用 答 辩 人：邸若海 指导老师：高晓光,研究内容,2,1,研究背景及意义,3,4,研究背景及意义,贝叶斯网络(Bayesian Networks，BN)于1986被Judea Pearl教授首次完整提出，Judea Pearl因其在贝叶斯网络概率推理和因果发现方面的先驱性工作而被授予2011年美国计算机学会图灵奖。 science和Nature多次刊登了贝叶斯网络的相关研究论文，斯坦福大学、卡内基梅隆大学、UC Berkeley、MIT等世界著名高校纷纷开设了贝叶斯网络相关课程，并组建了专门的研究团队。 贝叶斯网络
2、也成功应用于基因分析、医疗诊断、模式分类等研究领域。人工智能领域的一系列顶级期刊(Artificial Intelligence、Journal of Machine Learning Reasearch等)和顶级会议(IJCAI、ICML、UAI等)中有关贝叶斯网络论文的数量也常年维持着较高的水平。,贝叶斯网络是人工智能领域的一个研究热点,通过对近10年贝叶斯相关文献的分析发现，大部分研究集中在应用领域，而贝叶斯网络的理论研究稍显不足。在BN发展初期，BN模型主要由专家根据经验进行构建。而后，随着统计学方法大规模介入机器学习和人工智能领域，从数据中构造模型逐渐成为主流。,贝叶斯网络学习是贝叶
3、斯网络研究领域的一个热点问题,研究背景及意义,在实际建模问题中， 数据不充分是经常会面临的问题。一方面，某些领域可获得的数据量比较少或者数据的代价比较昂贵，例如，地质灾害预测、罕见疾病诊断、装备故障诊断以及作战指挥决策等。另一方面，数据量的增加是一个逐渐积累的过程，数据量的积累是一个由小变大、由少变多的过程，所以数据量必然会经历不充分的阶段。再者，在某些特定场合不得不在数据不充分的条件下完成决策。例如，在一些作战过程中，为了达到“先敌决策、先敌打击”的战术目的，不得不在数据尚不充分的条件下尽早做出较为正确的判断。,研究背景及意义,数据不充分条件下的建模是一个亟待解决的问题,问题的引出：基于小数
4、据集的BN学习,及其在威胁评估中的仿真应用,研究内容,2,1,研究背景及意义,3,4,研究内容,小数据集条件下基于连接概率分布的BN结构学习,小数据集条件下基于先验约束的BN参数学习,基于小数据集BN学习的UAV威胁评估,研究内容 “基于连接概率分布结构学习” 的引出,在小数据集条件下，数据中所包含的信息难以准确描述数据中各个变量之间的独立性关系，从而使得贝叶斯网络模型出现错误。,基于数据扩展的方法,基于先验约束的方法,优点：所采用的Bootstrap抽样算法是一种经典的抽样算法，且易于实现。获得扩展数据便能够结合现有的一些充分数据的结构学习方法 缺点：数据包含的有效信息难以得到增加，故扩展后
5、数据的质量难以保证。,基于等价样本量的方法,基于定性约束的方法,等价样本量的大小十分敏感，在样本数据较小时这一趋势尤为明显。基于等价样本量的方法其优点在于计算简单。 其缺点在于无法灵活的融入各种形式的专家知识，因为对于领域专家来说，往往更倾向于给出定性知识而非精确的具体的数值。 现有定性约束方法未考虑节点之间不存在的边和存在反向边的概率，并且约束总被认为是正确的。,在小数据集条件下，提出连接概率分布模型表示专家经验，通过对BD评分函数和BIC评分函数进行改进，将其引入到贝叶斯网络结构学习中，结合粒子群优化算法和K2算法解决小数据集条件下的贝叶斯网络结构学习的问题。,“基于连接概率分布的BN结构
6、学习”的具体内容,研究内容“基于先验约束的BN参数学习” 的引出,基本思路大多都是将专家知识表示为等式或不等式约束，进而将问题转化为似然函数或者熵函数的约束优化问题。具体的约束形式有区间约束、定性影响约束、定性协同等，主要的方法有凸优化、保序回归等。而现有的不等式约束中只考虑了子节点相同父节点不同的这一类参数之间的大小关系。而对父节点相同而子节点不同这一类参数之间的关系很少提及，同时，现有文献涉及的约束主要是针对单父节点条件下的网络参数，对多父节点协同条件下的约束研究较少。,“基于先验约束的BN参数学习”的具体内容,提出一种单调性约束模型，给出基于此约束的参数学习方法； 结合定性影响约束，给出
7、一种基于双重约束的参数学习方法； 结合加性协同约束，给出基于保序回归的参数学习方法；,“小数据集条件下基于BN威胁评估建模”的研究内容,首先，以不确定战场环境下UAV威胁评估为想定背景，分别根据不同威胁因素构建两个不同的任务想定，根据约束复杂度的不同分别利用K2算法和PSO算法构建UAV战场威胁评估网络。其次，应用提出的基于单调性的参数学习算法对威胁评估网络模型进行参数学习。最后，通过推理结果验证小数据集条件下的BN学习在复杂战场环境下UAV威胁评估中的有效性和可行性,研究内容,2,1,研究背景及意义,3,基于改进BD评分的BPSO算法,连接变量的概率分布示意图,基于连接概率分布的结构约束,基
8、于改进结构先验分布的评分函数,第一个等号由贝叶斯定理可以得到，第二个等号成立是因为当给定 时， 与数据D是条件独立的，当专家约束的网络数据给定时， 就是一个常数，所以，要使得整个网络的评分最高，只需要使得分子取最大即可。,其中 为网络空间中某一网络所对应的约束连接变量， 的取值由网络结构 唯一确定，其分布由专家经验确定。由于 的取值由 唯一确定，所以第一个等号成立。根据贝叶斯定理和链式规则可得到第二个等号成立。当约束所对应的连接变量取值已知时，网络结构 和连接变量的分布条件独立，则第三个等号成立。当 已知条件下，某一网络结构 的存在概率实际上就是某一网络结构包含这一特定网络子结构的概率，如果能
9、够得到在整个网络空间中含有这一特定子结构的网络个数 ，那么可以得到：,计算 和,粒子的表示及运算,无效结构的处理方法,包含自循环的BN结构及其关系矩阵,包含双向箭头的BN结构及其关系矩阵,包含内循环的BN结构及其关系矩阵,实验结果及分析,一次实验的仿真结果,多次仿真平均后的实验结果,基于改进BIC评分的K2算法结构学习,定义变量 的家族BIC评分为,评分的可分解性,为样本数据量， 为专家经验对应的边的存在概率， 为调节参数，用于调节专家经验对评分的影响程度。,实验结果及分析,约束完全正确时,实验结果及分析,多次仿真平均后的结果,约束不完全正确时,多次仿真平均后的结果,约束完全错误时,多次仿真平
10、均后的结果,基于单调性约束的BN参数学习,步骤1：根据领域知识或专家经验建立参数的单调性约束模型； 步骤2：结合参数规范性和单调性约束模型得到参数的约束区间； 步骤3：将约束区间内的均匀分布转化为贝塔（Beta）分布，并获取虚拟样本信息； 步骤4：将虚拟样本信息加入贝叶斯估计的模型，得到参数估计模型： 步骤5：将获得的参数作为下一个待求参数的下界，返回步骤1，重复步骤1-5，直到得到所有参数。,单调性约束模型,先验分布中参数的确定方法,实验结果及分析,算法精度分析,图1,图2,图3,图4,图5,图6,算法稳定性分析,图1,图2,图3,图4,图5,算法实时性分析,图1,图2,图3,图4,精度和时
11、效性的综合指标,基于加性协同约束的BN参数学习,加性协同约束模型,方法二,实验结果及分析,图1,图2,图3,基于双重约束的BN参数学习,基于MLS的保序回归算法,实验结果及分析,图3,图2,图1,图4,时效性分析,基于改进BD评分的BPSO算法的威胁评估仿真,任务想定,实验结果及分析,样本为50时BPSO算法所得结构,样本为50时本文算法所得结构,样本1200时BPSO算法所得结构,参数学习,推理精度,基于改进BIC评分的K2算法的威胁评估仿真,任务想定,我方侦察UAV对相应区域执行侦察任务。想定中威胁空间仅考虑警戒雷达、高炮阵地和导弹阵地。其中高炮阵地和导弹阵地对UAV能够造成威胁性的发射杀
12、伤，具有杀伤威胁。UAV在前往战场的飞行途中，实时接收来自指挥控制台的相关决策信息（目标威胁程度、UAV攻击或规避决策），想定中只考虑目标威胁程度信息。同时UAV实时应用机载传感器对周围环境不断探测，融合各传感器获得的战场数据信息，将观测数据进行离散化处理。,实验结果及分析,样本为10时K2算法所得结构,样本为10时本文算法所得结构,样本1000时传统K2算法所得结构,参数学习,考虑威胁因素较多时的威胁评估建模,实验结果及分析,样本为30时K2算法所得结构,样本为30时本文算法所得结构,样本5000时传统K2算法所得结构,100组,300组,500组,请各位老师和专家批评指正！,谢谢各位老师,
