《Chapter 1 神经网络概述》由会员分享，可在线阅读，更多相关《Chapter 1 神经网络概述（13页珍藏版）》请在金锄头文库上搜索。
1、计算智能(CI: Computational Intelligence)使用计算科学和技术模拟人的智能的结构和行为：信息的获取、传递、处理、再生和利用能力主要包括：（三大基础）All of the nature-inspired methods.参考书：1. M. T. Hagan, H. B. Demuth, and M. H. Beale, 神经网络设计，机械工业出版社，2002.2. S. Kumar, Neural Networks, 清华大学出版社，2006.3. 许东等，基于MATLAB6.x的系统分析与设计神经网络，西安电子科技大学出版社，2002.Chapter 1 神经网络概
2、述起始：1940s初，且导致了人工智能的研究；低潮：1960s末，进展不大；重新兴起：1980s 中，热潮，几乎应用于所有工程领域；下坡：2000以后。 重新兴起的两个标志性的成果：l 多层前向网络的BP算法(1986)：逼近任意函数l Hopfield网络(1984)：TSP问题，联想记忆一、 人工神经网络 (Artificial Neural Networks)1.什么是人工神经网络？人工神经网络是人类中枢（大脑）神经系统的简化模型，是由大量简单的并行分布的计算单元（神经元，neurons）互相连接而成的自适应非线性系统。2. 模拟人脑在两个方面 (1) 通过学习获取知识 (learnin
3、g, training)； (2) 知识存储在神经元及其之间的连接上。二、神经元模型1. 生物神经元 （人类大脑神经元）(1) 什么是生物神经元生物神经元是一个小细胞，具有如下功能：(a) 接收来自感官或其它细胞的输入；(b) 产生电输出响应，并传给其它神经元。人脑包含：神经元 (2) 基本结构三个主要成分：细胞体、轴突、树突突触(连接强度)树突：Input(接收信息)细胞体轴突：Output(传输信息)Fig 1. 生物神经元简图(a) 树突 （接收信息）接收来自其它神经元的电信号，并传给细胞体。(b) 细胞体 （信息处理器）信息处理器：对输入信号， （数学描述）(c) 轴突 （传输信息）把
4、细胞体的输出信号传给其它神经元。(d) 突触 （储存信息） 轴突和树突的结合点（两神经元之间）。例如，新记忆的形成是通过改变突触的强度（液状体）来实现。2. 人工神经元(1) 什么是人工神经元人工神经元是生物神经元的简单的模仿、简化和抽象，是一个极其简单的计算单元（函数）。(2) MP模型 (McCulloch(神经解剖学家), Pitts(数学家), 1943）简图Fig. 2. 人工神经元模型神经元实现了的极其简单的非线性函数：，其中输入，Input（来自其它神经元的信号）；输出，output (轴突上的电信号)；权值，weight (突触的强度)；阈值、门限，threshold;激活函数
5、、传输函数，activation function, transfer function.例、实现逻辑函数“与门”（AND gate）运算。1 真，0假，用一个两输入的神经元实现。 神经元输入 神经元输出 0 0 0 1 0 0 0 1 01 1 1.Remark正是此例，使人们看到了人类智能与计算机的联系，兴起了神经网络的研究，产生了人工智能(AI: Artificial Intelligence)学科。三、神经网络三要素激活函数、网络结构、学习规则1. 激活函数 (Activation Functions)(1) 线性激活函数 (用于ADLINE network)(2) 硬限幅激活函数 (
6、用于Perceptron)对称的硬限幅激活函数 (3) Sigmoid (S形)激活函数，性质： 对称（双曲正切）S形激活函数 2. 网络结构Two Types: 多层前向网络 (Multilayer Feedforward Networks) Static: 实现非线性映射。递归(反馈)网络 (Recurrent (Feedback) Networks) Dynamic: The networks are classical examples of non-linear dynamical systems.(1) 单隐层的前向网络(a) 网络结构First Layer Output:, .N
7、etwork Output: （的非线性映射）=, where第k层第i个神经元、第j个输入的权值;第k层第i个神经元的阈值。Remark: 实现了的非线性映射(b) 逼近能力已证明：单隐层(两层)前向网络 可任意精度的逼近中的任意函数。(2) Recurrent Networks （Feedback Networks）Hopfield网络:1982(离散),1984(连续)，单层递归网络；是神经网络重新兴起的两大原因之一。3. 学习规则（训练规则）：Learning Rules, Training Rules 为了使网络完成给定的任务，利用训练样本修正网络权值和阈值的方法和过程。4. 学习的
8、两个基本类型(a) 有监督学习 (Supervised Learning)l 训练样本具有如下形式：，, , .where network input; network target (desired) output;l 利用训练样本，调节网络的参数，使网络对应的输出逼近(b) 无监督学习 (Unsupervised Learning)l 训练样本：；l 利用训练样本，调节网络的参数，以表示输入的某种固有特征(如聚类、某种统计上的分布特征)5. 学习问题的例子l 数据拟合同经典方法的区别：l 手写邮政编码识别：数据库，的灰度图；l 垃圾邮件识别：数据库，单词或字符出现的概率；l 预测心脏病人发
9、作：临床检查、饮食；l 预测今后6个月的股票价格：过去的价格、经济学数据。Reference 1. T. Hastie, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Chapters 12.五、Characteristcs of neural networks1. Learning abilities 通过学习获取知识，并改进自身的性能。记忆的存储：2. Adaptability 环境平稳(统计特征不随时间变化)： 网络通过学习，可学到这些统计特征，并作为经验记住。环境非平稳(统计特
10、征随时间变化)： 可继续训练以跟踪环境的变化，如打手机。3. Generalization abilities经训练后的网络，对新样本(未在训练样本中出现)作出正确反应的能力。例、手写字母的识别。4. Mapping Capabilities单隐层前向网络可任意精度的逼近中的任意函数。5. Parallel Processing of Information 层中各神经元同时操作，相当于并行处理器。6. Fault Tolerance 分布式存储信息(权值、阈值)容错能力：某些神经元或连损坏，继续工作。六、Applications of ANNs ANNs are primarily used
11、 for solving two types of problems.1. Recognition Classification or Pattern Recognition 最成功的应用领域。如，手写字符的识别、语音识别、指纹识别、人脸识别、脑电图分类、油气藏检测等。2. Adaptive Control 火箭轨迹控制、化工过程控制、炼钢过程控制等。3. 预测 股票市场预测、借代风险分析等4. 通信与信号处理 自适应信道均衡、自适应滤波等5. Function Approximation6. Optimization七、Where to use an ANN 经典无招。问题具有如下特征：1.
12、 非线性；2. 高维；3. 数据具有：不精确（含噪、缺损）、不完备、复杂。八、例题例1、 给定一个具有如下参数的两输入神经元：输入，权矩阵，阈值.根据如下激活函数计算神经元的输出：(1) 硬限幅函激活函数；(2) 线性函激活函数。解、(1) .Motivation for neural networks: Scientists are challenged to use machines more effectively for tasks currently solved by humans. Symbolic Rules dont reflect processes actually us
13、ed by humans Traditional computing excels in many areas, but not in others.Types of ApplicationsMachine learning: Having a computer program itself from a set of examples so you dont have to program it yourself. This will be a strong focus of this course: neural networks that learn from a set of examples. Optimization: given a set of constraints and a cost function, how do you find an optimal solution? E.g. traveling salesman problem. Classificat
