基于神经网络的新的参数选择方法

《基于神经网络的新的参数选择方法》由会员分享，可在线阅读，更多相关《基于神经网络的新的参数选择方法（7页珍藏版）》请在金锄头文库上搜索。

1、关于神经网络的一个新的参数选择方法【摘要】 经过深入的研究神经网络的参数选择方法，现提出一个新的关于神经网络的参数选择方法， 并应用于冷轧带钢表面缺陷在线检测系统中。这个方法充分发挥了小样本集的优点，小样 本集是用每一个可能的参数组合来训练和检测神经网络,通过不同参数组合的识别比例柱状 图得到一组神经网络的参数，这样得到的参数被视为优选参数。实验表明通过新参数选择 方法选择参数的神经网络在冷轧带钢表面缺陷检测系统中可以达到在所有的参数为随机选 取时最好的识别效果。【1.Introduction】 神经网络参数的选择对于研究人员来说始终是一个严肃的问题，因为对于神经网络，没有 选择优选参数的固定

2、标准，但与此同时，参数选择的精确与否对于神经网络的精确度有很 大的影响。在使用神经网络的时候，很多专家通过经验或者是在某个参数集合中选择一组 较好的参数为其神经网的参数。如果完全根据经验来选择参数，那么问题独有的特性就无 法涵盖在其中，如果这个独有性很突出，那么神经网络的理论结果和实际结果就会有很大 的偏差。如果通过一组一组实验某些预定参数比较其结果来选择参数，其过程是非常繁杂 冗长的，基本是不可能的。与此同时，训练一个神经网络通常是非常复杂的，手工的去遍 历每一种可能的参数组合将要耗费大量的时间，效率的低下使这种方法几乎不可能实现。在表面检测领域，对于不同的对象有不同的自动检测系统。冷轧带钢

3、表面缺陷在线检测系 统是结合图像处理过程、模式识别、自动控制的实时检测系统，它可以在恶劣的环境下对 冷轧带钢进行全天的持续实时检测。识别冷轧带钢的表面缺陷是这个系统的主要和重要的 部分，这个识别技术在一些程度上影响这个系统的性能。系统是否可以识别出其检测到的 缺陷类型与其智能型和实用性直接相关。【2.Parameter selection methord】 新的参数选择方法是基于小样本用以解决寻找内部参数来描述实际问题，所以参数可以与 要解决的问题相匹配，也可以避免盲目的寻找可能的神经网络参数。图 1 展示了基于小样 本新的参数选择方法的流程图：小样本抽取参数分割统一编码循环自动训练和检测神经

4、网 络描绘柱状图寻找峰值点找到参数图图 1 算法的流程图算法的流程图【2.1Extraction of small-samples】 为了使参数反应实际问题的本质，要从全部样本中提取出一定比例的样本来构成一个新的 样本集，称作小样本，我们把提取的比例记作 。我们假定最开始的样本集是 P0。P0=X1,X2,Xn 原始样本集中的每个元素的数量分别表示为 P01，P02，P0n 同时，我们将新的样本集记作 PSPS=X1,X2,Xn 这个样本的大小为 N，提取规则如下定义： 按照比例从样例库中提取不同种类的样本，将每类不同的样本个数定义为 Pis，Pis可以用如 下的等式来描述：00 1i i s

5、n jjPPN P 因此，新的小样本的 PS的提取建立规则可以表现出原样本 P0的相同特征，也就是说，新提 取出来的小样本在一定程度上可以代表原来的样本，神经网络的小样本参数可以映射出整 个参数集下神经网络的情况。通过这种方法选择的样本被称为比例样本。在实际应用中， 我们提取一组训练小样本集 PS1和一系列测试样本 PS2【2.2Parameter segmentation and uniform encoding】 当应用到实际项目当中时，首先必须要知道神经网络的全部参数，而且要从全部参数中选 择与问题本质有关的参数。现在假设被选中的参数个数为 p，并且所有这些参数之间相互 独立且与样本无关

6、，也就是说，选择的样本参数变量可以反映实际问题的本质特征。经过 参数的优选之后，就要将全部参数根据一定范围的经验值和理论值进行分割。假定这 p 个参数被分别分为 C1，C2，Cp， （将这些参数分别分为这么多个段）这些参 数采用不重复规则组合在一起，假设有 M 种组合，M 可以用下面的等式来表示：11iPC iMC接下来要做什么？我们将为每一种组合编号，将其标记为：1,2，M。在这个阶段我 们将分为两个主要步骤： 首先，从前往后确定每个参数的位置和顺序，图 2 展示的一组参数内部确切的顺序：P1P2PM图图 2 确定参数顺序的参数组确定参数顺序的参数组其次，为每一种可能的组合编上统一的序列号，

7、当为第一个参数编好号以后，后面的将遍 历所有可能的值，编号将逐步加一，知道 M 种可能都编上号，那么编码结束。【2.3Automatic training circularly and plotting polyline figure】 在给所有参数编码过之后，我们将开发一个自动的程序，每一组参数将被当做神经网络的 参数分别进行训练和测试。这个过程可以分为如下的步骤：1、选取一组明确的参数作为神经网络的参数； 2、用训练小样本 PS1来训练神经网络； 3、当训练结束时，保存训练过的神经网络，以备测试； 4、再用测试小样本集 PS2来测试神经网络； 5、对各个样本的识别率进行统计； 6、重复步骤

8、 1 到 5，直到所有的 M 组数据都被遍历过一次； 7、在坐标系上根据这 M 组参数的神经网络得到的 M 个识别率的值，绘制一个柱状图； 8、找到这个图的峰值，记下这个峰值对应的参数，这个参数就被选作为起始样本中作为这 个神经网络的参数。【3.Process of calculating optimized parameters of neural network】 表格 1 是从某个中国生产线上的冷轧带钢表面缺陷在线监测系统得到的样本分布。从表中 我们可以看到，一共有 12 中不同的冷轧带钢缺陷，有 6360 个原始训练样本和 3180 个原 始测试样本。根据之前提到的小样本参数选择方法的

9、样本提取规则，我们从起始的训练样本和测试样本 分别按照 8%和 4%的比例提取出训练小样本 PS1和测试小样本 PS2。表格 2 显示了从中提取出的小样本的分布。 表表 1 系统的样本分布图系统的样本分布图项 目擦痕卷裂指点 杆风羽白 点辊 印折 边生 锈乳 化橘 釉裂 边其 他总计训 练 样 本 数1223139812031153463295193121898070716360测 试 样 本 数6126996025772321479661454035353180表表 2 抽取出小样本的分布图抽取出小样本的分布图项 目擦 痕卷 裂指 点 杆风 羽白 点辊 印折 边生 锈乳 化橘 釉裂 边其 他

10、总 计训 练 样 本 数981129692372415107666509测 试 样 本 数495648461912854333254在 LVQ3 神经网络中，竞争层的神经元个数首先要确定下来，根据项目，我们将其分配为 106 个。 （LVQ3？）其次，确保有三组参数与描述的系统的本质有关，将它们起始 的学习率记作 (0)，相对学习速率 ，窗口宽度为 m。根据对于 LVQ3 神经网络的经验， 以上三个参数的范围可以由如下的表达式描述：0.01(0)0.1 0.050.3 0.1m0.5 因此，这三个参数可以分别根据自身的经验值分段。(0)被分为 0.01,0.03,0.05,0.08 和 0.1

11、 五段， 被分为 0.05,0.1,0.2,0.3 四段，m 被分为 0.1,0.2,0.3,0.4,0.5 五段。所以如下等式计 算出一共有 M=100 种组合:111 545100MCCC分割完毕以后，我们将给每一组可能的结合编号，例如：1,2，100，而且每一个编 号代表一个特定的参数组，这里就是给每一组不同的 (0)、m 组合以明确的数值来编号，我们从后往前遍历参数组里的参数，如果遇到参数不同的，就将编号加一。例如，编 号为 No.5th参数组就是(0.01,0.05,0.5)，这个就表明 (0)=0.01，=0.05，m=0.5，再比如 No.16th的参数组为(0.01,0.3,0

12、.1)，也可以对照上面得到每一个参数所对应的值。对于 BP 神经网络，有两个主要参数必须被确定，即初始学习速率和惯(0)性项系数 。根据经验，参数总是在 0.9 和 1.0 之间，而参数 在 0.7 和 0.9(0)之间。因此，可以被分成 10 项，即 0.9,0.91,0.92,0.99， 可以被分成 11(0)项，即 0.7,0.72,0.74,0.99。所以这两个参数总共有 110 种组合，给这 110 种组 合按次序标号，它的编码方式和 LVQ3 一样。例如，参数的第五个组合是 (0.9,0.78)，第 16 个参数组合是(0.91,0.78)。其他的参数组合也同样能得出。 接下来就要

13、使用训练小样本 Ps1来训练具有不同参数组合的 LVQ3 和 BP 神经 网络，然后使用测试小样本 Ps2来得出（算出）它的识别率，接着就能绘制出识 别率相对于参数组合编号的折线图，如图 3 和图 4。图 3. LVQ3 神经网络参数优化选择的曲线图 4. BP 神经网络参数优化选择的曲线图 3 中(48,96.2%)是峰值点，它意味着第 48 号参数组合能够更好地描述 LVQ3 神经网络的实际问题，测试结果能够达到 96.2%这个最高识别率。通过解 码参数组合，每个参数值可由式 7 表达。同样的道理，BP 神经的工作可以得到图 5，(2,92.32%)这一点显示了识别率 的峰值，它意味着第二

14、号参数组合能够获得多有参数组合中的最大识别率 92.3%， 通过解码，能够得出式 8 所示的参数值。图 5. 不同神经网络参数条件下的识别率直方图因此，当应用到冷轧带钢表面缺陷是别种时，式 7 是 LVQ3 神经网络的优化 参数，式 8 是 BP 神经网络的优化参数。4.实验结果实验结果 根据上述方法选出的参数可知，LVQ3 神经网络的所有参数都能像表 3 一样 得出，表 3 中 LVQ3 神经网络的所有参数都将被用到冷轧带钢表面缺陷识别的 实验中。同时，为了验证在优化参数下的识别效果，必须用不同的, 和 m(0) 的值来构建几个对比相似系统。然后将表 1 中的所有的训练和测试样本输入到 所有

15、具有 3 个参数的识别系统中，并且计算出它们的识别结果，如：正确识别 的数目、识别率等。有此在不同的神经网络参数下，一个训练结果表如表 4 所 示，测试结果表是表 5。在表 4、表 5 中，LVQ3 神经网络的第一组参数是通过新的参数选择方法获 得的，第 2 到第 8 组参数是随机组合选取的。为了直观的显示结果，不同神经 网络参数下的识别率的直方图如图 5 所示。 从表 4 和表 5，我们可以看出，在第一组参数条件下识别率分别达到了 94.28%和 89.69%，这两个值都是两个表的最大值，但是在其他 7 组参数条件下， LVQ3 神经网络的识别率：最大的训练识别率是第 6 组参数条件下的 9

16、0.19%； 最大的测试识别率同样是在第 6 组参数条件下的 87.77%。与此同时，最低的训 练识别率和测试识别率都在第 2 组参数条件下产生，分别是 81.64%和 78.40%， 分别比第一组低 12.64%和 11.29%。其他 7 组的平均训练识别率和测试识别率分 别是 86.16%和 82.75%，分别比第 1 组低 8.12%和 6.94%。因此，实验完全证明，将（使用先参数选择方法得到的神经网络的优化参 数）作为神经网络的参数，可以更准确地表达分类信息，当应用到冷轧带钢表 面缺陷识别中时能得到一个更高的识别率。5.总结总结 当将神经网络应用到实际项目中时，因为神经网络的参数对识别效率影响 很大，本文慎入研究了参数选择问题。因为神经网络包含对多样本的训练和测 试，仅靠经验很难选出优化参数，到底参数经验值能不能反映实际问题的本质 还不知道。在研究样本的选择方法和需要解决问题的本质之后，神经网络的新 的参数选择方法