《深度学习降维过程中的信息损失度量研究》由会员分享，可在线阅读，更多相关《深度学习降维过程中的信息损失度量研究（4页珍藏版）》请在金锄头文库上搜索。
1、深度学习降维过程中的信息损失度量研究 郭淑妮 内蒙古民族大学计算机科学与技术学院 摘 要： 随着技术的发展, 人们对机器学习予以了关注, 并展开了深入的研究, 近年来深度学习这一概念被提出, 它涉及到数据挖掘、智能识别等众多领域, 在底层特征组合的辅助下, 用于展示属性的高层特征可以有效形成, 并以分布式的形式展示出来。而降维是深度学习的重要组成部分, 在提取数据特征, 提升识别速度与识别率等方面发挥着不可替代的作用, 但与此同时也会不可避免的造成信息损失, 对此展开研究有着重要意义。文中将对深度学习原理与信息熵原理进行简述, 并探究降维过程中信息损失度量模型的构建方法。关键词： 深度学习;
2、降维过程; 信息损失; 度量研究; 作者简介：郭淑妮 (1981, 12-) , 内蒙古民族大学计算机科学与技术学院, 讲师, 研究方向:计算智能、语音识别。基金：内蒙古民族大学科学研究基金资助项目“基于深度学习的蒙古语语音合成技术研究” (编号:NMDYB1767) 深度学习根据对人脑的建立与模拟, 实现对深层神经网络的分析与学习, 通过对人脑思维机制的模拟来分析、理解数据, 降维处理可以使低维编码借鉴数据本质的描述, 但是此时梯度耗散等问题也较为明显, 此时可以逐层预训练权值, 最终获得权值的初始值, 在对网络结构予以微调处理, 从而降低耗散的影响, 保证深度学习的有效实现。对降维信息损失
3、度量问题展开研究是十分必要且重要的。1 深度学习原理与信息熵原理1.1 深度学习人脑视觉系统是深度学习概念提出的依据, 人脑中存在方向选择性细胞, 当处于眼前的物体, 其边缘指向某一方向, 且边缘被瞳孔捕捉到时, 方向选择性细胞就会呈现出较为活跃的状态。此时瞳孔会受到物体的刺激, 而神经元细胞继而活跃, 最后信息被传递到中枢大脑中, 这个过程是视觉反应的过程, 具有不断抽象、多层传递等特点。其中最底层信息即为原始信号, 视觉系统会在视觉信号中抽象出基本特征, 这些特征能够构成新数据层, 系统会进一步从这个数据层中抽象出物体中可以体现出属性或类别的特征, 使之形成更高数据层。这种特征提取的抽象过
4、程是不断重复的, 当大脑将信号准确辨别出来后, 整个过程才算完成。深度学习就是对这个过程的模拟, 当人工神经网络被模拟出来后, 就可以将原始信号输入到其中, 然后进行分层提取处理, 将有效特征抽象出来, 与人脑相似, 系统中最终输出的特征信息只是极少数具有参考价值的数据。栈式自动编码器就是这种模拟结构, 稀疏自动编码器通过首尾相接的方式连接到一起, 就构成了栈式自动编码器, 并形成神经网络。1.2 信息熵熵的概念来源于热力学, 分子状态的混乱程度可以用热熵来表示, 在深度学习中, 信息熵可以用来形容信源的不确定性。在信息论中, 事件的信息可以用该事件发生概率所对应的倒数来表示, 可以用 i 来
5、表示系统所处的某一个状态, 此时该状态发生的概率则可以用 Pi 来表示, 那么信息就可以用如下公式来表示:在这个公式中, Pi 需满足以下条件:, 其中 0P i1系统中所有状态中包含的信息量对应的期望值即为系统的熵, 其定义可以用以下公式表示:2 降维过程中信息损失度量模型的构建方法2.1 特征表达与数据降维的现实意义事物通常具有较为复杂的内容与形式, 此时需要挖掘事物的本质, 透过表象了解事物的特征, 将其具有特征的数据抽象出来, 而这种特征是事物本身蕴含的多个变量, 应用特征来展示事物的方式具有完整性与简洁性。在深度学习系统中, 特征即为原材料, 它对于模型构建的结果有着较为直接的影响。
6、特征表达以及数据的选择会影响到算法的性能, 如果数据可以被准确的提取出特征, 那么即使模型相对简单, 也可以得到较高的精度, 因此在建立模型、构建算法以前, 一定要对数据进行必要的预处理。与虚拟世界相比, 现实世界中的信息数据呈现出高维特征, 这类数据的处理过程具有量大基本特性, 首先是维度灾难, 即高维数据的处理面临较多的困难, 冗余信息过多, 后期数据处理内容繁多、过程琐碎;其次是维度福音, 高维数据中包含的信息是极为丰富且全面的, 客观事物的所有信息都涵盖在其中, 因此问题解决的有效性与可能性会大大的增加。在现实生活中, 虽然事物多呈现出高维状态, 具有较强的复杂性, 但是可以用于处理、
7、支配事物的变量是极为简单, 且数量较少的, 因而事物处理的关键在于如何在复杂多样的数据中提取出与事物本质规律相关的因素。以图像处理领域为例, 如果将初级特征设为原始像素值, 那么图像处理中维度会相对较高, 此时必须进行降维处理, 这样才能获得更为准确、简洁的特征要素, 传统降维方法为 PCA 法, 这种方法降维效果并不理想, 在深度学习中, 可通过构造模块展开建模, 应用稀疏自动编码器做相应处理。2.2 栈式自动编码器自动编码属于深度学习技术中的一种, 具有无监督的特点, 高维输入可以通过神经网络获得的低维来表达。传统线性降维具有一定的局限性, 以主成分分析为例, 需要在高维数据层面上获得较大
8、方差, 只有获得较大方差所在的轴, 才能够将信息输入的主要方向捕获, 继而实现降维, 在这种降维模式中, 特征维度受到了极大的限制, 而栈式自动编码器则可以有效克服这一限制, 其系统中存在非线性神经网络, 模拟人脑的视觉过程对数据进行逐层分析, 最后实现有效的降维。2.3 计算图像信息图像处理过程中, 为了处理信息量, 需要对亮度直方分布图进行统计, 然后找到对应的信息熵, 使信源特征可以从平均意义上表现出来, 而图像的统计特征则可以利用图像熵表现出来, 图像的一维熵极为灰度分布统计中蕴含的信息量, 一维图像熵可以用公式表示为:H=- j=0Pilog Pi, 灰度值为 j 的像素所占比重即为
9、 Pj。再进一步对一维熵中的特征元素进行分析与组合, 就可以获得二元组, 即二维熵, 可以用 (c, d) 来表示二元组, 其中 d 为邻域灰度的平均值, 不低于 0, 不超过 255;c 则表示灰度值, 同样不低于 0, 不超过 255。在此情况下, 在 M、N 尺度上, , 而二维熵可以用公式表达为:二维熵可以对图像的综合特征进行进一步的分析, 此时特征表达的准确性与精度将进一步增加。2.4 信息损失量模型的建设为了提高分析的准确性, 降低信息耗损, 此时可以采用两种方法对信息损失量进行评测。第一种是利用 MES 与 PSNR 来测评, 这种方式的优点在于物理意义明确、复杂度低, 其应用较
10、为广泛, 设在灰度为 8bit 的图像中, 像素点数为 n, k 点的像素值为 fk, 降维后 k 点对应的像素值为 fk, 那么 MSE 与 PSNR 分别表示为: , 。从公式中可以看出, PSNR随着 MSE 的降低而增大, 降维信息损失随着 MSE 的降低而降低。第二种是利用信息熵对信息损失量进行评测, 信息熵的差值可以在一定程度上反映出将为信息的损失情况。一维信息熵降维前后的值分别为 H 与 H, 其差为H=H-H;二维信息熵降维前后的值分别为 H1与 H1, 此时其差值为H1=H1-H1。降维信息的损失会随着H 与H 1的降低而降低。虽然信息熵可以在一定程度上反映出信息损失量, 但
11、是由于存在图像不同, 图像熵相同的情况, 因此这种计算未必准确。3 结束语随着技术的发展, 人们对深度学习的研究愈加深刻, 通过模拟人脑的方式处理数据信息, 可以取得较好的效果, 能够有效挖掘出事物的本质信息。但是这个过程会不可避免的造成信息损失, 为了保证分析处理的有效性, 应当对降维信息损失情况进行关注, 利用有效方法展开测评。参考文献1石志国, 杨志勇.深度学习降维过程中的信息损失度量研究J.小型微型计算机系统, 2017 (07) . 2王法强.基于度量学习的人脸识别方法研究D.哈尔滨工业大学, 2013. 3余凯, 贾磊, 陈雨强, 等.深度学习的昨天、今天和明天J.计算机研究与发展, 2013 (9) . 4王雅思, 姚鸿勋, 孙晓帅, 等.深度学习中的自编码器的表达能力研究J.计算机科学, 2015 (9) .
