《神经网络简史》由会员分享，可在线阅读，更多相关《神经网络简史（8页珍藏版）》请在金锄头文库上搜索。
1、神经网络简史 2015-01-12 团成片的尼克 36大数据 自图灵提出“机器与智能”，一直就有两派观点，一派认为实现人工智能必须用逻辑和符号系统，这一派看问题是自顶向下的；还有一派认为通过仿造大脑可以达到人工智能，这一派是自底向上的，他们认定如果能造一台机器，模拟大脑中的神经网络，这台机器就有智能了。前一派，我想用“想啥来啥”来形容；后一派就称之为“吃啥补啥”，估计他们的思想来源于中国古代的原始思维，套一句庸俗的哲学词，前者偏唯心，后者偏唯物。这两派一直是人工智能领域里两个阶级、两条路线的斗争，这斗争有时还你死我活。 麦卡洛可（McCulloch） 皮茨（Pitts)模拟神经网络的原创文章发
2、表于1943年，两位作者都是传奇人物，麦卡洛可（McCulloch）和皮茨（Pitts)。话分两头。皮茨打小就喜欢数学和哲学，初中时还读过罗素的数学原理，还和罗素通信，罗素爱才，邀请他到英国跟随自己学习逻辑。但皮茨家里是苦出身，连高中都读不起，英国留学自然未果。他十五岁时，他爸强行要他退学上班，就像所有爱读书的穷孩子，皮茨一怒就离家出走了。他打听到偶像罗素那时要到芝加哥大学任教，就只身来到芝加哥，还真见到了罗素，老罗遂把他推荐给那时也在芝加哥任教的卡尔纳普。卡尔纳普想看看这孩子到底有多聪明，就把自己的语言的逻辑句法一书送给皮茨，没过一个月，皮茨就看完了，把写满笔记的原书还给卡尔纳普。老卡惊为天
3、人，于是给他在芝加哥大学安排了份打扫卫生的工作。别看不起打扫卫生，电影心灵捕手（Good Will Hunting）里马特达蒙饰演的角色也是在知名大学打扫卫生时，不小心解了道数学难题，引起老师的注意。扫马路至少可避免流浪街头。皮茨后来结识了也在芝加哥的麦卡洛可。沃伦-麦卡洛可比皮茨大一辈，他本科在耶鲁学哲学和心理学，后在哥伦比亚得了心理学硕士和医学博士（MD)，其实医学博士和哲学博士不是一回事，MD不是学术学位，属终极职业学位，和MBA、MFA差不多。MD的那个D是指“医生”，PhD的D才是博士。麦卡洛可毕业后做了几年实习医生，先去了耶鲁研究神经生理学，后又去了伊利诺伊大学芝加哥分校，做精神病
4、学系的教授。麦卡洛可的强项是神经科学，但不懂数学，他和十七岁的流浪汉数学票友皮茨是绝配。他们合作的成果就是神经网络的第一篇文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”, 发表在数学生物物理期刊上。这篇文章也成了控制论的思想源泉之一。 诺伯特维纳控制论的始作俑者诺伯特维纳早年自称神童，他爸是哈佛教授，曾经带着他到英国见过罗素，但罗素特不喜欢这孩子和他爹。自打进入二十世纪后，甭管哪门哪派的学问，最后都能扯到罗素那儿，不想得诺贝尔文学奖的科学家都不是好情人。维纳后来也在哈佛任教，但不被主流数学家喜欢，没拿到终身教职。最后到
5、了隔壁的麻省理工落脚，在二战时搞了点武器研究。那时最好的数学家和物理学家都参与了造原子弹的“曼哈顿”计划，维纳却没沾边。这也许同他的个性有关系，他的同事和家人都觉得他对数学之外的事情反应迟钝。维纳提出“控制论”后出了大名，在麻省理工搞了一大笔钱，麦卡洛可就带着皮茨等一票人马投奔维纳，有钱才能当老大，哪都一样。维纳的老婆玛格丽特是纳粹，在二战时，家里还偷藏了本英文版的希特勒的我的奋斗。那时他们的女儿芭芭拉正在读小学，有意无意也看过那书，写作文时居然引用书里的“警句”，差点被学校开除。麦卡洛可的老婆是犹太人，与玛格丽特形同水火。其实维纳祖上是波兰犹太人，玛格丽特早干啥去了？维纳娶玛格丽特是为了自嘲
6、吗？就像很多中国男人讨洋老婆或老外娶中国剩女，图的不是相貌，是稀罕。反正最后维纳被中和为“不可知论者”（agnostic）。玛格丽特有次对维纳说麦卡洛可小组有人（可能暗指皮茨）勾引宝贝女儿芭芭拉，维纳大怒，随即断绝和麦克洛克及其学生的所有往来。现在看玛格丽特是有意造谣。但维纳的举动对皮茨造成巨大创伤，皮茨本来是维纳的特招学生（special student），但估计他年幼时受过挫折，秉性怪异。和维纳闹翻后，他拒绝麻省理工给他的研究生学位，对学问也心灰意冷。皮茨1969年比他的长辈麦卡洛可早几个月离世，只有四十六岁。 迈克尔阿比卜（Michael Arbib)得维纳真传的人不多，不能不说一下迈克
7、尔阿比卜（Michael Arbib)。他二十三岁就在维纳手下得了PhD，他出名是那本科普书大脑、机器和数学。阿比卜后来创办了麻省大学的计算机系，并延揽一帮人工智能人马，其中有后来以“强化学习”出名的巴托（Andy Barto)，使麻省大学的人工智能一直处领先地位。阿比卜后来转往南加州大学，担任一堆系的教授，包括计算机、生物、生物医学工程、电气工程、神经科学、还有心理；他那名片要是印出来，估计很像中国的农民企业家，就差“政协委员”或“人大代表”了。阿比卜到南加州后，没出过什么有影响力的原创成果。在神经网络不景气时，巴托的“可适应学习实验室”曾经短期收容了很多人，其中就有后来的大佬级人物，如乔丹
8、（Michael Jordan），乔丹在伯克利时又培养了Andrew Ng等一干人马，那是后话。1949年，神经心理学家Hebb出版行为组织学（Organization of Behavior)，在该书中，Hebb提出了被后人称为“Hebb规则”的学习机制。这个规则认为如果两个细胞总是同时激活的话，它们之间就有某种关联，同时激活的概率越高，关联度也越高。换句话说，就是“吃啥补啥”。2000年诺贝尔医学奖得主肯德尔（Eric Kandel）的动物实验也证实了Hebb规则。后来的各种无监督机器学习算法或多或少都是Hebb规则的变种。 弗兰克罗森布拉特神经网络研究的后一个大突破是1957年。康奈尔大
9、学的实验心理学家弗兰克罗森布拉特在一台IBM-704计算机上模拟实现了一种他发明的叫作“感知机”（Perceptron）的神经网络模型。这个模型可以完成一些简单的视觉处理任务。这引起了轰动。罗森布拉特在理论上证明了单层神经网络在处理线性可分的模式识别问题时，可以收敛，并以此为基础，做了若干“感知机”有学习能力的实验。罗森布拉特1962年出了本书：神经动力学原理：感知机和大脑机制的理论（Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms），这书总结了他的所有研究成果，一时成为“吃啥补啥”派的圣经。
10、罗森布拉特的名声越来越大，得到的研究经费也越来越多。国防部和海军都资助了他的研究工作。媒体对罗森布拉特也表现出了过度的关注。毕竟，能够构建一台可以模拟大脑的机器，当然是一个头版头条的抢眼消息。此时的罗森布拉特也一改往日的害羞，经常在媒体出镜，他开跑车、弹钢琴，到处显摆。这使得另一派的人相当不爽。明斯基是人工智能的奠基人之一，是达特茅斯会议的组织者。明斯基在一次会议上和罗森布拉特大吵，他认为神经网络不能解决人工智能的问题。随后，明斯基和麻省理工学院的另一位教授佩普特合作，企图从理论上证明他们的观点。他们合作的成果就是那本影响巨大、“是也非也”的书：感知机：计算几何学（Perceptrons: A
11、n Introduction to Computational Geometry)。在书中，明斯基和佩普特证明单层神经网络不能解决XOR（异或）问题。异或是一个基本逻辑问题，如果这个问题都解决不了，那神经网络的计算能力实在有限。其实罗森布拉特也已猜到“感知机”可能存在限制，特别是在“符号处理”方面，并以他神经心理学家的经验指出，某些大脑受到伤害的人也不能处理符号。但“感知机”的缺陷被明斯基以一种敌意的方式呈现，当时对罗森布拉特是致命打击。所有原来的政府资助机构也逐渐停止对神经网络的研究。1971年，罗森布拉特四十三岁生日那天，在划船时淹死。很多人认为他是自杀。王国维沉湖时遗言“经此世变，义无再
12、辱”，在罗森布拉特，我猜“辱”是明斯基的书，“世变”是随后“神经网络”学科的消沉。不同的是，王静安谓之“世变”是历史潮流，但神经网络学科十年后会逆袭。表面是科学，但有证据表明明斯基和罗森布拉特以前就有瓜葛。他们是中学同学。布朗克斯（Bronx）科学高中大概是全世界最好的高中，毕业生里出过八个诺贝尔奖、六个普利策奖、一个图灵奖。远的不说，明斯基是1945年毕业生，而罗森布拉特是1946年毕业生。美国高中学制四年，明斯基和罗森布拉特至少有两年重叠，而且彼此认识，互相嫉妒。1956年的达特茅斯会议定义了“人工智能”这个词，会议的组织者包括明斯基、麦卡锡和香农等，参会者还有司马贺，纽威尔等。这个会议在
13、定义“人工智能”领域时只是提到了神经网络。那时明斯基是神经网络的支持者。他1954年在普林斯顿的博士论文题目是“神经-模拟强化系统的理论，及其在大脑模型问题上的应用”（Theory of Neural-Analog Reinforcement Systems and its Application to the Brain-Model Problem），实际是一篇关于神经网络的论文。他晚年接受采访时开玩笑说，那篇三百多页的博士论文从来没正式发表过，大概只印了三本，他自己也记不清内容了。貌似他想极力开脱自己和神经网络学科的千丝万缕的关系。达特茅斯会议的主题并不是神经网络，而是后来被纽维尔和司马贺
14、称为“物理符号系统”的东西，也就是说达特茅斯会议，“想啥来啥”派是主要基调。罗森布拉特被比他大一岁的明斯基妒忌是自然的。工作上，明斯基所负责的麻省理工学院的人工智能实验室也在向国防部和海军申请经费。大多数的圈内科学家，对罗森布拉特突然被塑造的明星范儿很反感。明斯基早期也是“吃啥补啥”派出身，但此时已经改为“想啥来啥”派了。由于他和佩普特对感知机的批判，俩人后来被“吃啥补啥”派称为“魔鬼搭档”。其实明斯基认识佩普特结识还是通过麦卡洛克的介绍，历史真是纠结。被称“魔鬼”是因为感知机第一版有言：“罗森布拉特的论文大多没有科学价值。”这话跳步确实有点大，但罗森布拉特人缘不好，没有得到同行的支持。比罗森
15、布拉特小一岁的维德罗（Widrow）是斯坦福大学教授，在罗森布拉特刚提出“感知机”时，就提出了Adaline可适应性算法。Adaline和感知机很相似，也是机器学习的鼻祖模型之一。罗森布拉特享受盛誉时，维德罗也沾了光，但在罗森布拉特死后，他却并没有被非难。维德罗在几十年后回忆说，那是因为他后来主要在电机系（EE）做集成电路的工作，而不是在计算机系里从事派系繁杂的人工智能研究，圈子不同，老死不相往来。 大佬米德（Carver Mead）感知机的失败导致神经网络研究的式微，用加州理工学院的集成电路大佬米德（Carver Mead）的话说是“二十年大饥荒”。明斯基在感知机一书再版时，删除了原版中对罗
16、森布拉特的个人攻击的句子，并手写了“纪念罗森布拉特”（In memory of Frank Rosenblatt）。但其他在“大饥荒”时期受到压迫的科学家认为明斯基不可原谅，后来神经网络得势后，这些人纷纷对明斯基口诛笔伐。美国电气电子工程师协会（IEEE）于2004年设立了罗森布拉特奖，以奖励在神经网络领域的杰出研究。在信息科学和神经科学的结合部的失败，并没有影响到神经生物学内部。哈佛神经生物学家胡贝尔（Hubel）和威瑟尔（Wiesel）对视网膜和视皮层（visual cortex）中神经细胞的信息处理模式做了深入研究，他们为此获得1981年的诺贝尔医学奖。随后，麻省理工学院英年早逝的大卫马尔（Marr）为视觉信息处理建立数学模型，影响了后来连接主义的运动。威瑟尔后来离开哈佛去了洛克菲勒大学。1991年洛克菲勒大学时任校长大卫巴尔的摩出了学术丑闻被迫
