教育信息处理ppt课件

《教育信息处理ppt课件》由会员分享，可在线阅读，更多相关《教育信息处理ppt课件（69页珍藏版）》请在金锄头文库上搜索。

1、第一节 根底知识第二节 熵的概述第三节 信息熵的实践运用一、随机事件的概念一随机景象1.随机景象带有随机性、偶尔性的景象。当人们在一定的条件下对它加以察看或进展实验时，察看或实验的结果是多个能够结果中的某一个.而且在每次实验或察看前都无法确知其结果，即呈现出偶尔性.或者说，出现哪个结果“凭时机而定。2.随机景象的统计规律性在一定条件下对随机景象进展大量观测会发现某种规律性。举例：一门火炮在一定条件下进展射击，个别炮弹的弹着点能够偏离目的而有随机性的误差，但大量炮弹的弹着点那么表现出一定的规律性，如一定的命中率，一定的分布规律等等。丈量一物体的长度，由于仪器及察看遭到的环境的影响，每次丈量的结果

2、能够是有差别的. 但多次丈量结果的平均值随着丈量次数的添加逐渐稳定于一常数，并且诸丈量值大多落在此常数的附近，越远那么越少，因此其分布情况呈现“两头小，中间大，左右根本对称。“天有不测风云和“天气可以预告有矛盾吗?“天有不测风云指的是随机景象一次实现的偶尔性.“天气可以预告指的是研讨者从大量的气候资料来探求这些偶尔景象的规律性.3.研讨随机事件统计规律的意义了解发生不测人身事故的能够性大小,确定保险金额。了解来商场购物的顾客人数的各种能够性大小，合理配置效力人员。了解每年最大洪水超警戒线能够性大小，合理确定堤坝高度。二随机实验假设每次实验的能够结果不止一个，且事先不能一定会出现哪一个结果，这样

3、的实验称为随机实验。寿命实验测试在同一工艺条件下消费出的灯泡的寿命。三随机事件1.定义在一次实验中能够发生也能够不发生的事件称为随机事件，简称事件。随机事件的发生具有偶尔性,在大量反复实验中，随机事件的发生又具有某种规律性。根身手件相对于察看目的不可再分解的事件复合事件两个或一些根身手件并在一同，就构成一个复合事件如在掷骰子实验中，察看掷出的点数 事件 Ai =掷出i点 i =1,2,3,4,5,6事件 B=掷出奇数点事 件2.两个特殊的事件必然事件即在实验中必定发生的事件。不能够事件即在一次实验中不能够发生的事件。举例：在掷骰子实验中，“掷出点数小于7是必然事件;“掷出点数8那么是不能够事件

4、。3.样本空间把随机实验的每个根本结果称为样本点，记作e 或。全体样本点的集合称为样本空间。样本空间用S或表示。样本点e. S 假设实验是将一枚硬币抛掷两次，那么样本空间由如下四个样本点组成： S=(H,H), (H,T), (T,H), (T,T)第1次第2次HHTHHTTT(H,T)：(T,H):(T,T)：(H,H):其中 样本空间在如下意义上提供了一个理想实验的模型： 在每次实验中必有一个样本点出现且仅有一个样本点出现。假设实验是测试某灯泡的寿命： 那么样本点是一非负数，由于不能确知寿命的上界，所以可以以为任一非负实数都是一个能够结果，故样本空间S = t ：t 0 引入样本空间后，事

5、件便可以表示为样本空间的子集。例如，掷一颗骰子，察看出现的点数S = i ：i=1,2,3,4,5,6样本空间：事件B就是S的一个子集B = 1,3,5B发生当且仅当B中的样本点1，3，5中的某一个出现.二、事件的概率 在充分多次实验中，事件的频率总在一个定值附近摆动，实验次数越多，普通来说摆动越小。这个性质叫做频率的稳定性。 这个定值称为事件的概率,记为P(A)。例如,在抛掷一枚硬币的实验中,出现正面的概率P(A)=1/2。例如，假设我们希望知道某射手中靶的概率，应对这个射手在同样条件下大量射击情况进展察看记录.假设他射击n发，中靶m发，当n很大时，可用频率m/n作为他中靶概率的估计.医生在

6、检查完病人的时候摇摇头“他的病很重，在十个得这种病的人中只需一个能救活. 当病人被这个音讯吓得够呛时，医生继续说“但他是侥幸的.由于他找到了我，我曾经看过九个病人了，他们都死于此病.医生的说法对吗？什么是熵？没有什么问题在科学史的进程中曾被更为频繁地讨论过。普利高津熵实际对于整个科学来说是第一法那么。爱因斯坦一、信息量的表示一、信息量的表示 熵是1865年作为热力学的一个重要概念引入的。信息实际中的熵是从不同的观念引入的，两者间虽有一样的数学方式，但它们并没有什么直接的联络。 我们大_都喜_使_计_机。 我_大_使_机。 教育中人们接受信息典型事例 例1 现有A、B、C、D、E五名学生，以他们

7、作为候选人需从中选出一名学生作为学生代表。 对于这种五选一的系统，设定每一名学生被选中的能够性是一样的，被选中的概率都是1/5。这是对五选一系统的一种不完全的知识，也是一种不确定的认识。 选拔的结果是A被选中。当我们得到了A被选中的音讯后，我们对五选一系统的知识从不完全到完全，对五选一系统的认识从不确定到确定。它阐明“A中选的音讯使我们的知识量添加了，即它具有一定的信息量。 假设讨论的系统是n选一的系统，显然，n越大，选拔前的不确定性就越大，选拔结果公布后，它给予人们的知识量就越多，即人们从公布结果中所得到的信息量就越大。这种信息量的多少与n的大小成比例的添加。为此，我们以来定义信息量。这是一

8、种以2为底的对数，其单位为字位bit。假设对数是以e或10为底,H的单位为nit或bit。例2设某一系统中包含有n个事件，每一事件产生的概率都是，此时的信息量为：这是一种等概率事件的系统。对该式予以扩展，设某一事件产生的概率为p，那么信息量由下式定义：(2-2)式中的负号是由1/p所产生的，它使H的计算结果为正数。二、信息二、信息熵例1设概率系统中有n个事件，每一事件产生的概率为：当事件I产生后，给予我们的信息量为对于n个事件构成的概率系统，每一事件产生的平均信息量为：(2-3)H为信息熵。例2设某一系统具有四种形状A1、A2、A3、A4,其产生的概率分别为：1/2、1/4、1/8、1/8该系

9、统中任一形状产生是所给予的平均信息量为：假设概率系统为延续系统，其概率分布为p(x)，该系统的熵由2-4所表示。三、熵的意义三、熵的意义 熵的大小可用于表示概率系统的不确定程度。例1设某一概率系统中，每一事件产生的概率分布为：1，0，0它表示，该系统中某一事件产生的概率为1，其他事件产生的概率为0，这是一个确定系统，不确定度为0。计算该系统的信息熵，有H=0。 例例2 2 设某一概率系某一概率系统中，其概率分布是均匀的，中，其概率分布是均匀的，它表示系它表示系统中每一事件中每一事件产生的概率相等。生的概率相等。对于于这样的系的系统，我，我们很很难预测某一事件的某一事件的产生，生，这种种系系统的

10、不确定性最大。的不确定性最大。该系系统的信息的信息熵具有最大具有最大值在一在一样事件数的情况下。事件数的情况下。以上以上讨论的是两种极端的情况，我的是两种极端的情况，我们来来调查两个中两个中间形状。形状。 例：两个中例：两个中间形状形状 设概率系概率系统A A、B B得分布得分布为： P(A)=(0.5 ,0.5 ,0 ,0 ,0 P(A)=(0.5 ,0.5 ,0 ,0 ,0 ) P(B)=(0.5 ,0.125 ,0.125 ,0.125 ,0.125 )试比较它们哪一个系统的不确定程度大。分析 经过A、B系统信息熵的计算，有由此可以断定系统B的不确定程度是系统A的两倍。 四、信息四、信息

11、熵的根本性的根本性质1.单峰性例设某一系统包含两个事件A、B，其产生的概率分别为p和1-p。该系统的熵为当p为0时，H=0。这是一种A产生的概率为0，B产生的概率为1确实定系统。同样，假设p为1，H=0。这是一种A产生的概率为1，B产生的概率为0确实定系统。假设,那么它表示A、B事件产生的概率一样，H具有极大值，这是一种不可预测的不确定系统。对这样的系统予以扩张，设系统中具有n个事件，其中某一事件产生的概率为1，其他事件产生的概率为0，该系统的熵H=0。假设系统中每一事件产生的概率一样，均为1/n，这种系统的H为最大值。2.对称性3.渐化性4.展开性5.确定性五、相对熵五、相对熵英语这样的自然

12、言语中，包括空格在内，总共运用了27种字符。假设每个字符出现的概率一样，且都是1/27，这样的英语系统具有最大熵，其熵值为：实践系统中，字符的运用并非相互独立地、等概率的随机陈列的，字符的运用受着各种规那么，条件所制约。在这种英语系统中，每一种字符出现的概率是不同的，某一些字符出现的频度高，例如空格和E；某一些字符出现的平度低，例如Q和Z。以相对信息熵h来表示熵减少的程度。信息熵的计算与系统中事件数的多少有关，它不利于我们对不同系统的熵进展比较。相对信息熵的计算有利于我们对不同系统的信息熵进展比较。六、冗余度六、冗余度基于相对信息熵，我们称： 为冗余度。冗余度表示了由于每种字符出现的概率不同而

13、使信息熵减少的程度。显然，由于信息熵的减少，为了表示一样的内容，一样的信息量，文章的字符数要多一点，这就是文章的冗余性。一、测试问题信息熵的计算一、测试问题信息熵的计算学习者对多重选择问题的应对概率分布能够有多种不同的情况：10，0，0，0计算相应的应对信息熵H：20.5，0.125，0.125，0.125，0.125计算相应的应对信息熵：30.5，0.5，0，0，0计算相应的应对信息熵：40.2，0.2，0.2，0.2，0.2计算相应的应对信息熵： 对于应对情况，学习者对预选答案1的选择概率为1，对其他预选答案的选择概率为0，表示学习者在选择应对时，一定是预选答案1，这是一种完全确定的选择应

14、对，阐明该问题过于简单，学习者可以毫不费力地予以正确应对。对于应对情况，学习者的应对选择分布是等概率的，它阐明这种问题的应对选择是不确定的。学习者在应对时，不能很容易地进展判别、选择，这是一种较难的问题。二、等价预选项数二、等价预选项数 等价预选项数是指将实测的应对分布，换算成与之具有等熵的均匀分布的预选项数。现有三个多重选择问题，每一个问题都有五个预选项，经测试，学习者对每一预选项选择应对的频度分布如下图。图中，横轴表示预选项，纵轴表示频度。 图 (a)的概率分布为0.5，0.5，0，0，0，它表示学习者的应对集中在两个预选项，且各为50%。这样的问题，虽有五个预选项，实践上可以为等价于两个

15、预选项。同样，对于图 (b)、(c)的概率分布(0.5,0.125,0.125,0.125,0.125)、(0.4,0.3,0.2,0.1,0.0)也可引入等价预选项的概念对预选项的有效性进展评价。三、对不确定程度的判别三、对不确定程度的判别 信息熵表示了像多重选择问题这类测试问题学习者应对的不确定程度。给定的问题是：从外观上看，12个小球完全一样，在这12各小球中，仅有一个小球的分量与其他小球不一样。请运用天平，能否在三次以内找出这个分量不同的小球，并且指明该小球比其他小球是重还是轻。四、教学过程的信息量分析四、教学过程的信息量分析1.分类系统教学过程是一种教师与学生间以言语进展信息传送的过

16、程，教学过程可以经过教师与学生言语序列的记录来表述。当我们对教学过程中，教师与学生的言语行为进展适当地分类，并以这种分类，可对教学过程进展客观地表现。假设这种分类、表述着眼于分析的目的，我们称之为相互作用分析，假设这种分类，表述着眼于记述方法，我们称之为分类分析。教师、学生言语行为的分类有多种不同的方法，至今已有一百多种，比较有影响的分类系统有Flanders分类系统1968年和VICSVerbalInteractionCategorySystem等。信息熵H=2.939bit2.类别总数与熵类别总数中，最大的为334，最小为28，平均为131.9。由于分类系统是基于教师，学生的言语行为分类的

17、，所以第二组体育教学的平均类别数少于其他各组的类别总数。利用教学中测试的分类数据序列，经统计可得到各种类别数据的频率分布，即教学过程中各类行为产生频度分布，由此可计算出每一节课的信息熵。各组的类别总数与熵的关系数据所属的组别以相应的组别序号所表示。数据的分布范围由组别号(1),(2),(6)所指示的椭圆所圈定。各组数据根本位于该组数据的椭圆圈内。可以清楚地看出第二组的体育数据与其他课程的分布完全不同。各组数听阐明类别总数与熵根本上具有正相关的关系，但第五组数学的数据是负相关。第一组和第四组是社会科学的教学，由于指点教师的不同，数据及其分布具有很大的差别。第一组的熵值较大，类别总数较小。与之对应

18、，第四组的类别总数较大，且分散，这阐明教学指点较为灵敏，自在度较大。第六组文科教学的数据分布很广，其中，右上方的数据是指点教师教学的数据。该数听阐明，教学的类别总数较大，这与授课时间的长短有关，此外，一个重要特点是熵较大。这是由于指点教师教学中类别的多样性所致。3.不同窗科类别频度分布的比较在教师行为中，按“1提示，“5接受，“2指示，“4广义提问，“3狭义提问，“6拒否这样的顺序陈列。除“6拒否仅占51%外，其他各种行为均有一定的频度。“4广义提问在各组数据中，其频度的大小几乎都是一样的。在学生的行为中，几乎都是“7向教师的应对。对教师的发言，向其他学生的反响等行这频度很小，这是由于本数据为

19、微格教学的根据，实习教师都是一些没有教学阅历的学生。各种类别的频度中，“6教师的拒否、“8学生向其他学生的反响、“10学生向其他学生的发言“等行为频度都不满1%。类别8、类别10的频度是由于微格教学的特点所呵斥的。我们比较各组的数据，发现组2体育与其他各组数据的频度分部不同，其频度几乎都集中在教师的提示和指示的行程为上。正如前面所提到的那样，本分类系统是基于言语行为的分类系统，对于体育教学中的某些行为没有列入。除组2的频度分布外，其他各组的频度分布外形大体一样。所需留意的是，组1中，类别1，2的频度分布与其他各组正好相反，即教师的提示少于教师的指示，这是由于指点教师的缘由，与之一样的组4就不是

20、这样的频度分布。从提问来看，与组5的算术教学相比较，组1、4的社会教学中，狭义的提问较少，这种倾向与课程的性质有关。五、CAI课件中的信息量1.多重选择问题的信息熵1设学习者对具有两种预选答案问题的应对分布为：1/2，1/2其信息熵为2设学习者对具有三种预选答案问题的应对分布为：1/2，1/4，1/4其信息熵为3设学习者对具有四种预选答案问题的应对分布为： 1/2，1/4，1/8，1/8其信息熵为4设学习者对具有四种预选答案问题的应对分布为： 1/4，1/4，1/4，1/4其信息熵为5设学习者对具有五种预选答案问题的应对分布为： 2/5，1/5，1/5，1/10，1/10其信息熵为H=2.12

21、bit。均匀分布的H最的如1、4所示，但这是在一样答案数情况下的比较。 2.课件评价从问题、课件所具有的学习功能来看，问题的信息量越大，表示学习者应对分布的分散性越大，问题的信息量越小，表示学习者应对分布越集中。设某一问题学习者的应对分布为：1/5，1/5，1/5，1/5，1/5这种分布具有最大信息熵。它表示学习者的应对选择非常分散。这样的问题具有较大的“迷惑性，学习者在选择应对时，需求进展仔细的思索才干予以选择。这样的问题促使学习者进展深化的思想。对课件而言，这是一个很好的问题。假设某一问题的学习应对分布为1，0，0，0，0这种分布的熵为零。它表示学习者的应对全部集中在第一个预选答案。显然，

22、这样的问题学习者在选择应对时，可以不需进展更多的思索，非常轻松的给予应对。从学习者的学习思索，这不是一个很好的问题。2.7.3学习形状的描画学习形状的描画 3.学习形状的描画学生学习形状的有效描画和判别，对改善教学过程、提高教学效果是极为重要的。特别在CAI学习过程中，学习的控制不是由教师根据对学生的察看结果来进展，而是由计算机自动的进展的，学生的学习形状如何描画、怎样判别，对学习过程的开展更具有重要意义。教学过程的开场阶段，由于学生刚进入一个全新的领域，需求对学习内容有一个了解、顺应的阶段，这时候，学生的学习处于一种不稳定形状。这种形状下，学习内容的变换不宜过大，学习的速度应适度，学习的提示

23、要仔细些。经过一段学习後，学生的学习趋于稳定形状，学习内容、学习速度、提示方法应作相应的调整。教学过程应根据教学目的的要求、学生的学习形状变化予以有效的展开。学习过程中学生学习形状的描画和判别应根据学习过程中的各种应对信息的搜集、处置来实现。学习过程中，学生的应对情况可以作为一个子系统来处置，利用该子系统信息熵的变化情况，可以有效的判别学生学习形状的变化。学生的学习处于不稳定的形状时，学生对问题的应对具有较大的随机性，与之相应的信息熵也较大。学习趋于稳定后，回答以下问题确实定性添加，相应的信息熵随之减少。图a所表示的形状是一种不稳定的学习形状。图b中，学生应对的信息熵很快的边小，表示学生的学习迅速的进入稳定形状。