《非负矩阵分解问题算法的研究》由会员分享，可在线阅读，更多相关《非负矩阵分解问题算法的研究（68页珍藏版）》请在金锄头文库上搜索。
1、西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：啦日期塑! ! ：墨：兰 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和
2、使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位仍然为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 日期型! L 圣：生 日期塑! L 三：生 摘要 矩阵分解是一种重要的多元数据分析方法由于在工业界和学术界存在大量 的数据具有非负特性，所以非负矩阵分解日益受到研究人员的重视非负矩阵的 优点在于非负约
3、束条件下，实现了对数据矩阵的部分基表示所得到的非负基矩 阵和表示矩阵具有很强是实际意义，被广泛应用在实践中 本文主要研究的是快速高效的非负矩阵分解算法目前使用最多的非负矩阵 分解算法是L S 算法，L S 算法包含两个简单的迭代公式科研和工程实践表明L S 算法的收敛率不是很高本文首先简要介绍非负矩阵分解问题的提出、研究现状和 研究所需的数学基础其次，给出一种非负矩阵分解的内点梯度B B 算法非负矩 阵分解的子问题是一个界约束优化问题，而界约束优化问题正在被广泛的研究， 并且已经得到了一些有价值的结论本文使用B B 算法构造了一种新的下降方向， 计算出了非单调线搜索的精确步长收敛性分析表明，内
4、点B B 梯度B B 算法产生的 点列能够收敛到稳定点数值实验表明算法具有较好的收敛率，使用人脸图像数 据和基因数据实验表明算法具有较好的实际效果再次，本文提出了秩一2 H A L S 算 法和修正的秩一2 H A L S 算法两个矩阵相乘可以写成秩一1 矩阵相加的形式通过分 析H A L S 算法的优缺点和两类特殊的二次规划的解的性质，得到了秩一2 H A L S 算法和 修正的秩一2 H A L S 算法提出的算法能够得到子问题的精确最优解收敛性分析表 明，秩一2 H A L S 算法和修正的秩一2 H A L S 算法产生的点列能够收敛到稳定点数值实 验表明算法具有较好的收敛率盲信号分离
5、的实验表明，秩一2 H A L S 算法能够克服 H A L S 算法丢失信息的缺点最后，我们简要介绍了一下张量分解，指出张量分解 需要解决的问题 关键字：矩阵分解，非负矩阵分解，盲信号分离，陷算法，交替最小二乘，张量分 解 A b s t r a c t M a t r i x 鼬r i z a l i o ni sa ni m p o r C a n tm u l t i d i m e n S i o n a lo rN - w a ya 玎a ya n a l y s i sm e m o d T h e r ea r ea1 0 to fm u l t i d i m e I l s
6、 i o n a ld a ：t a 诚mn o n n e g a t ec o n s 触i ns c i e n c ea n d i n d u s t r y N o 皿e g a t i v em a _ t r i xf a c t o r i z a t i o n ( N M F ) a t t r a c t sm a l l yr e s e a r c h e r S a t t e n t i o 璐 U n d e rn o 衄e g a t i v ec o r l S t m 缸s ，w ec a I lo b t a i nt l l ep a I t - b
7、 a S e dr e p r e s e n t a t i o no ft l l ed a t a m a t r i x 1 1 1 en o 皿e g a t i v eb a s em a t r i xa n dt 1 1 er e p r e s e n t a t i v em a t r i xh a V et h e i rp h y s i c a l m e a I l i n g si I lp m c t i c a l 印p l i c a t i o 嬲 1 nt 1 1 i st h e s i s ，w cf o c l l so n 恤协ta I l d
8、 h i 曲e 伍c i e n c ya l g o o fN M F C 眦e n t l y ， t l ：屺m o s tu s e da l g o r i t h mo fN M Fi sL Sa l g o r i t h mp r o p o s e db yD a m e lD L e e 锄dH S e b 枷a I lS e u I l g T l l eL Sa l g o r i t l l I nc o n t a i l l S 咖ou p 妇em l e s 1 1 1 er e s e a r c h 觚dp r a c t i c e s h o wt h
9、a tt h ec o I e r g e n c er a t eo fL Sa l g o r i m mi sl o w ：F i r s t l y 、v eb r i e n yi I l t r o d u c em e p r o b l e mo fN M F ，m e 劬d 锄e n t a ll ( I l o w l e d g eo fm a t h e n l a t i c sw I l i c h 谢nb eu s e d i I lm e s 臼阳矾廿1 ed e v e l o p m e n t sa I l dt h er e s e a r c hs t
10、 a t e so fN M F S e c o n d l y 、耽p r o p o s e dm e i n t e r i o r - p o i n t 铲a d i e n tB Ba l g o r i t l n 7 n l es u b p r o b l e mo fN M F i sab o x 。c o I l s 缸a i n e do r b o u n dc o n s 仃a i n e dp r o 铲舢i n g C u r r e n t l y ，m eb o x c o 璐t r a i n e dp r o g r 锄m i n gi s 埘d e l
11、 y s t u d i e d m e r ea r es o m ev a l 岫b l er e s u l t s W ec 趾u s et 1 1 em e t h o d so fs 0 1 V i I 培t h e b o x c o n s 臼伍n e dp r o 铲锄m i n gt os o l v et l l es u b p r o b l e mo fN M F I I lC h 印t e r2 ，b yu S i n g s o m ep o w e m l l ，比呛o f - t h e a n ，t e c h I l i q u e s ，w ep r
12、o p o s eo n ed e c e n td i r e c t i o n a I l d e s t i m a t et h es t e ps i z eo fn o r n o n o t o n el i n er e s e a r c h T h ec o n V e 唱e n c ea I l a l y s i ss h o w t l l a tt h ec o n s e q u e n c eg e n e r a t e db yt h ep r o p o s e da l g o r i t l l I l l c a nc o n v e 玛e n t
13、t 0a s t a t i o n a r yp o i n t 7 n l e o r e t i c a l 锄a l y s i s 锄d m m l e r i c me x p e r i I l l e n t ss h o wt 1 1 a to u r p r o p o s e da l g o r i t h mn o t0 1 1 l y h a Sh i 曲r a t eo ft h ec o n V e r g I e n c e ，b u ta l s oh a sg o o d p e 面肌a n c eo fn 啪e r i c a le x p e r i
14、m e n t s 锄dp r a c t i c a lp r o b l e m T h i r d l y ，、ep r o p o s e u 墩2H A L Sa l g o r i t h ma n dm o d i f i e dR a I l l ( 一2H A L Sa l g o r i t h m 7 n l em u l t i p l i c a t i o no f t 、om a 仃i c e sc a nb ew r i t t e n 嬲t h es 啪o fs o m er a n k - 1m 嘶c e s B ya n a l y z i n gt 1
15、1 e a d v a I l t a g ea n dd i s a d v a n t a g eo fH A L Sa l g o r i t ，t h es 0 1 u t i o np r o p e n i e so f 觚os p e c i a l q u a d r a t i cp r o g r a n ：l I l l i n g ，w eo b t a i no u rp r o p o s e da 1 9 0 r i t T h ec o n V e r g e n C ea I l a l y s i s s h o wt h a tt h ec o n s e
16、 q u e n c eg e n e r a t e db yt h ep r o p o s e da l g o r i t l l I l l sc a nc o n V e 玛e n tt oa s t a t i o r l a 珂p o i n t I nB l i n dS o u r c eS e p a r a t i o np r o b l e m ，t h eM o d i f i e dR a r 止- t w oH A L S a l g o r i t l 咖h a Sah i 曲p e r f o n I l a n c e F i n a l l y ，w eg i V eab r i e fi n t r o d u c t i o no f t h et e n s o r d e c o m p o s i t i o na 1 1 dt h ep r o b l e mw en e e dt os o l v
