《人工神经网络和人机博弈ppt课件》由会员分享，可在线阅读，更多相关《人工神经网络和人机博弈ppt课件（21页珍藏版）》请在金锄头文库上搜索。
1、人工神人工神经网网络与与人机博弈人机博弈Your company sloganYour company slogan总目录总目录 生物学的神经网络生物学的神经网络1 1 人工神经网络人工神经网络2 2 神经网络的人机博弈应用神经网络的人机博弈应用3 3 小实验：小实验：井字过三关井字过三关4 4Your company sloganYour company slogan生物学的神经网络生物学的神经网络动物的大脑结构动物的大脑结构 分为灰色的外层和白色的内层。灰色层只有几毫米厚，其中紧密分为灰色的外层和白色的内层。灰色层只有几毫米厚，其中紧密地压缩着几十亿个被称作神经元的微小细胞。白色层在皮层灰
2、质的下地压缩着几十亿个被称作神经元的微小细胞。白色层在皮层灰质的下面，占据了皮层的大部分空间，是由神经细胞相互之间的无数连接组面，占据了皮层的大部分空间，是由神经细胞相互之间的无数连接组成。皮层象核桃一样起皱，这可以把一个很大的表面区域塞进到一个成。皮层象核桃一样起皱，这可以把一个很大的表面区域塞进到一个较小的空间里。这与光滑的皮层相比能容纳更多的神经细胞。较小的空间里。这与光滑的皮层相比能容纳更多的神经细胞。 人的大脑大约含有人的大脑大约含有1OG1OG （即（即100100亿）个这样的微亿）个这样的微 小处理单元小处理单元 Your company sloganYour company s
3、logan生物学的神经网络生物学的神经网络神经细胞神经细胞 神经细胞都长着一根像电线一样的称为轴突（神经细胞都长着一根像电线一样的称为轴突（axonaxon）的东西，）的东西，它的长度有时伸展到几厘米，用来将信号传递给其他的神经细胞。它它的长度有时伸展到几厘米，用来将信号传递给其他的神经细胞。它由一个细胞体、一些树突、和一根可以很长的轴突组成。由一个细胞体、一些树突、和一根可以很长的轴突组成。 神经细胞利用电神经细胞利用电- -化学过程交换信号。输入信号来自另一些神经化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞的轴突末梢和本神经细胞的树突相遇形成突触，细胞。这些神经细胞的轴突末梢
4、和本神经细胞的树突相遇形成突触，信号就从树突上的突触进入本细胞。大脑的神经细胞只有两种状态：信号就从树突上的突触进入本细胞。大脑的神经细胞只有两种状态：兴奋和不兴奋。发射信号的强度不变，变化的仅仅是频率。神经细胞兴奋和不兴奋。发射信号的强度不变，变化的仅仅是频率。神经细胞把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激发神经细胞进入兴奋状态，这时就会有一个电信号某个阀值，就会激发神经细胞进入兴奋状态，这时就会有一个电信号通过轴突发送出去给其他神经细通过轴突发送出去给其他神经细 胞。胞。Your compan
5、y sloganYour company slogan神经网络特点神经网络特点能实现无监督的学习能实现无监督的学习能实现无监督的学习能实现无监督的学习不存在导师，网络根据外部数据的不存在导师，网络根据外部数据的不存在导师，网络根据外部数据的不存在导师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某统计规律来调节系统参数，以使网络输出能反映数据的某统计规律来调节系统参数，以使网络输出能反映数据的某统计规律来调节系统参数，以使网络输出能反映数据的某种特性。种特性。种特性。种特性。对损伤有冗余性对损伤有冗余性对损伤有冗余性对损伤有冗余性 大脑即使有很大一部分受到了损伤，它大脑即
6、使有很大一部分受到了损伤，它仍然能够执行复杂的工作。仍然能够执行复杂的工作。 处理信息的效率极高处理信息的效率极高处理信息的效率极高处理信息的效率极高神经细胞采用了神经细胞采用了并行并行的工作方式，的工作方式，使得大脑能够同时处理大量的数据。使得大脑能够同时处理大量的数据。 善于归纳推广善于归纳推广善于归纳推广善于归纳推广 极擅长的事情之一就是模式识别，并能根极擅长的事情之一就是模式识别，并能根据已熟悉信息进行归纳推广据已熟悉信息进行归纳推广 。它是有意识的它是有意识的它是有意识的它是有意识的这个在人工神经网络中不予讨论。这个在人工神经网络中不予讨论。这个在人工神经网络中不予讨论。这个在人工神
7、经网络中不予讨论。Your company sloganYour company slogan人工神经网络人工神经网络模拟大脑的人工神经网络模拟大脑的人工神经网络模拟大脑的人工神经网络模拟大脑的人工神经网络ANNANN是由许多叫做人工神经细胞（也称人工神经原，是由许多叫做人工神经细胞（也称人工神经原，是由许多叫做人工神经细胞（也称人工神经原，是由许多叫做人工神经细胞（也称人工神经原，或人工神经元）的细小结构模块组成。人工神经细胞就像真实神经细胞的一或人工神经元）的细小结构模块组成。人工神经细胞就像真实神经细胞的一或人工神经元）的细小结构模块组成。人工神经细胞就像真实神经细胞的一或人工神经元）的
8、细小结构模块组成。人工神经细胞就像真实神经细胞的一个简化版，但采用了电子方式来模拟实现。个简化版，但采用了电子方式来模拟实现。个简化版，但采用了电子方式来模拟实现。个简化版，但采用了电子方式来模拟实现。 一个人工神经细胞可以有任意一个人工神经细胞可以有任意一个人工神经细胞可以有任意一个人工神经细胞可以有任意n n个输入，个输入，个输入，个输入，n n代表总数。可以用下面的数学表达代表总数。可以用下面的数学表达代表总数。可以用下面的数学表达代表总数。可以用下面的数学表达式来代表所有式来代表所有式来代表所有式来代表所有n n个输入：个输入：个输入：个输入：x x1 1,x,x2 2,x,x3 3,
9、x,x4 4,x,x5 5,.,x,.,xn n同样同样同样同样 nn个权重可表达为个权重可表达为个权重可表达为个权重可表达为: :ww1 1,w,w2 2,w,w3 3,w,w4 4,w,w5 5.,w.,wn n那么激励值就是所有输入与它们对应权重的之乘积之总和。那么激励值就是所有输入与它们对应权重的之乘积之总和。那么激励值就是所有输入与它们对应权重的之乘积之总和。那么激励值就是所有输入与它们对应权重的之乘积之总和。Your company sloganYour company slogan如下图，网络的每一层神经细胞的输出都向前馈送到了它们的下一层，如下图，网络的每一层神经细胞的输出都向
10、前馈送到了它们的下一层，如下图，网络的每一层神经细胞的输出都向前馈送到了它们的下一层，如下图，网络的每一层神经细胞的输出都向前馈送到了它们的下一层，直到获得整个网络的输出为止。这一种类型的神经网络就叫前馈网络。直到获得整个网络的输出为止。这一种类型的神经网络就叫前馈网络。直到获得整个网络的输出为止。这一种类型的神经网络就叫前馈网络。直到获得整个网络的输出为止。这一种类型的神经网络就叫前馈网络。网络共有三层（输入层不是神经细胞，神经细胞只有两层）。输入层网络共有三层（输入层不是神经细胞，神经细胞只有两层）。输入层网络共有三层（输入层不是神经细胞，神经细胞只有两层）。输入层网络共有三层（输入层不是
11、神经细胞，神经细胞只有两层）。输入层中的每个输入都馈送到了隐藏层，作为该层每一个神经细胞的输入；中的每个输入都馈送到了隐藏层，作为该层每一个神经细胞的输入；中的每个输入都馈送到了隐藏层，作为该层每一个神经细胞的输入；中的每个输入都馈送到了隐藏层，作为该层每一个神经细胞的输入；然后，从隐藏层的每个神经细胞的输出都连到了它下一层（即输出层）然后，从隐藏层的每个神经细胞的输出都连到了它下一层（即输出层）然后，从隐藏层的每个神经细胞的输出都连到了它下一层（即输出层）然后，从隐藏层的每个神经细胞的输出都连到了它下一层（即输出层）的每一个神经细胞。图中仅仅画了一个隐藏层，作为前馈网络，一般的每一个神经细胞
12、。图中仅仅画了一个隐藏层，作为前馈网络，一般的每一个神经细胞。图中仅仅画了一个隐藏层，作为前馈网络，一般的每一个神经细胞。图中仅仅画了一个隐藏层，作为前馈网络，一般地可以有任意多个隐藏层。地可以有任意多个隐藏层。地可以有任意多个隐藏层。地可以有任意多个隐藏层。 人工神经网络人工神经网络Your company sloganYour company slogan神经网络的人机博弈应用人机博弈的重要事件人机博弈的重要事件人机博弈的重要事件人机博弈的重要事件1988年，“深思”击败丹麦特级大师拉尔森1989年，每秒思考速度达200万步的“深思” 0 比2不敌卡斯帕罗夫1993年，“深思”二代击败了丹
13、麦国家队，在与前女子世界冠军小波尔加的对抗中获胜1996年，性能高于“深思”数百倍的“深蓝” 以2比4负于卡斯帕罗夫1997年，“更深的蓝” 以3.5比2.5击败了卡斯帕罗夫2001年，一家德国公司开发的国际象棋软件“更弗里茨”击败了除克拉姆尼克之外的所有排名世界前十位的棋手2002年10月，“更弗里茨”与克拉姆尼克在巴林进行“人机大战”，双方以4比4战平2003年1至2月 由两位以色列电脑专家研究出的“更年少者”与卡斯帕罗夫对弈，双方3比3战平。1997年卡斯帕罗夫与深蓝2的人机大战2003年卡斯帕罗夫与更年少者的人机大战Your company sloganYour company slo
14、gan神经网络的人机博弈应用GeraldTesauroGeraldTesauro的西洋双六棋的西洋双六棋的西洋双六棋的西洋双六棋西洋双陆棋是西方一种状态空间比较大的棋类游戏。1992年，IBM的工程师Gerald TesauroGerald Tesauro利利用人工神经网络，编写出一款双六用人工神经网络，编写出一款双六棋程序棋程序TD-Gammon。在本例中使用的神经网络包含198 个输入节点、 80个隐含节点和1 个输出节点。其中输入节点输入的是棋盘的局面特征,输出的是对棋盘的评估值。 Your company sloganYour company sloganhttp:/ company
15、sloganYour company slogan五子棋五子棋五子棋五子棋在本例中用这种方法的五子棋程序采用在本例中用这种方法的五子棋程序采用在本例中用这种方法的五子棋程序采用在本例中用这种方法的五子棋程序采用BPBP神经神经神经神经网络来求评估值网络来求评估值网络来求评估值网络来求评估值, ,网络即为局面评估函数网络即为局面评估函数网络即为局面评估函数网络即为局面评估函数 ff。它有。它有。它有。它有5656个输入节点个输入节点个输入节点个输入节点,28,28个隐含节点和个隐含节点和个隐含节点和个隐含节点和22个输出节点。个输出节点。个输出节点。个输出节点。Your company slog
16、anYour company slogan输入节点中有输入节点中有输入节点中有输入节点中有2828个代表计算机局面的特征个代表计算机局面的特征个代表计算机局面的特征个代表计算机局面的特征, ,另另另另 2828个代表对手局面的特征。个代表对手局面的特征。个代表对手局面的特征。个代表对手局面的特征。22个输出节点分别是对计算机个输出节点分别是对计算机个输出节点分别是对计算机个输出节点分别是对计算机棋手局面与对手局面的评估棋手局面与对手局面的评估棋手局面与对手局面的评估棋手局面与对手局面的评估, ,两个值相减得到对局面的评两个值相减得到对局面的评两个值相减得到对局面的评两个值相减得到对局面的评估值
17、。估值。估值。估值。莫建文等. 基于TD强化学习智能博弈程序的设计与实现J. 计算机应用,2004,24(6):287-288有兴趣的可以参考有兴趣的可以参考Your company sloganYour company slogan小实验：井字过三关介绍：介绍：介绍：介绍： 即课本第一章习题1.5中提到的tic-tac-toe。两个玩家，一个打圈(O)，一个打叉(X)，轮流在3乘3的格上打自己的符号，最先以横、直、斜连成一线则为胜。先下玩家有优势，双方无失误，将是和局。一个空白的棋盘一个空白的棋盘一场游戏的过程一场游戏的过程Your company sloganYour company sl
18、ogan原理概述原理概述原理概述原理概述设计由九个感知器组成的单层人工神经网络设计由九个感知器组成的单层人工神经网络输入：将棋局分布用九位的二进制数表示，每一位作为一个输入。输入：将棋局分布用九位的二进制数表示，每一位作为一个输入。对方对方 用用 -1 -1 表示；己方表示；己方 用用 1 1 表示；空白格用表示；空白格用 0 0 表示。表示。例子：例子：1 -1 -1 0 1 0 1 0 -11 -1 -1 0 1 0 1 0 -1输出：应该落子的位置输出为输出：应该落子的位置输出为1 1 其余位置输出为其余位置输出为0 0Your company sloganYour company sl
19、ogan部分输入向量部分输入向量对应的目标输出值对应的目标输出值部分训练样例部分训练样例Your company sloganYour company slogan 实验利用Matlab中的神经网络工具箱来进行，将输入向量和目标输出分别保存为p_1和t_1两个文件，建立神经网络进行训练。学习速率取0.05，训练次数定为1000次。Your company sloganYour company slogan训练结果训练结果训练结果训练结果经过训练，对部分棋局能作出正确判断，但有时也会出现不正确经过训练，对部分棋局能作出正确判断，但有时也会出现不正确的结果。的结果。成功的例子成功的例子失败的例子失败的例子Your company sloganYour company slogan网络过于简单？应该下这一步应该下这一步也应该下这一步也应该下这一步Your company sloganYour company slogan进一步的改进利用多层前馈网络Your company sloganYour company sloganhttp:/homepages.cae.wisc.edu/ece539/project/f01/index.html有兴趣的可以参考有兴趣的可以参考程序演示程序演示Your company sloganYour company slogan
