《中文问题分类和句型分析的研究》由会员分享，可在线阅读，更多相关《中文问题分类和句型分析的研究（70页珍藏版）》请在金锄头文库上搜索。
1、杭州电子科技大学硕 中文问题分类和句型 分析的研究 研究生：陈小翠 指导教师：董云耀副教授 A S t u d yo f t h eC h i n e s eQ u e s t i o n C l a s s i f i c a t i o na n dS e n t e n c e A n a l y s i s C a n d i d a t e ：C h e nX i a o c u i S u p e r v i s o r ：P r o f D o n gY u n y a o D e c e m b e r ，2 0 1 0 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创
2、性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人 或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 ：骼小专吼巾旧哆日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证 毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大 学。学校有权保留送交论文的复印件，允许查阅和
3、借阅论文；学校可以公布论文 的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密 论文在解密后遵守此规定) ：鸭小珲 指导教师 日期：砌1 年f 月r 多日 桫日期：训f 年c 月r j R 快 上通过 大量的无用信息，需要他们进一步地去甄别。与搜索引擎相比，中文问答系统 允许用户以自然语言的方式进行提问，返回给用户的是精准性的答案，不需要 用户再去甄别答案的准确性，缩短了用户获取信息的时间，可以更好地满足人 们的需求。 中文问题理解是中文问答系统的基础，只有在正确分析和理解问题的基础 上，才有可能将正确的答案返回给用户。问题理解包括问题预处理、句法分析、 问题分类、句型分
4、析和浅层语义分析等处理过程。其中问题分类和句型分析作 为问题理解中非常重要的两个处理过程，问题分类的准确与否直接影响到最终 答案的准确性；句型分析确定了答案的生成模式，其中的句型成分决定了答案 的重要程度。本文主要进行了以下三个方面的研究工作： ( 1 ) 针对支持向量机问题分类中存在冗余数据、数据量维数大、处理速度 慢等缺点，提出了一种基于粗糙集理论和支持向量机技术相结合的C R - V 问题分 类方法。该方法首先利用粗糙集理论中的属性约简方式预处理样本数据，消除 冗余的特征向量，有效地降低样本数据空间的维数，然后将约简后的最小特征 量作为支持向量机的输入量，有效地提高了支持向量机收敛速度和
5、分类的精度。 ( 2 ) 对问题进行分类之后，在同一种类型下，针对同一个问题焦点的提问 可以有很多种问法，为了使同类型同焦点的问题可以按相同的方法进行处理， 这样既可以减少问题库的存储空间，又加快了回答问题的速度。因此本文对同 类型和同焦点不同问法的问题进行分析，将用户提出的问题转为问题标准型 Q S F 进行处理，并相应地给出了问题答案的句型形式，使得问题和答案在形式 上相一致。 ( 3 ) 将上述提出的C R V 分类方法和问题标准型Q S F 应用于我们设计开发 的计算机网络课程的个性化学习系统中的自动问答系统上，运行结果表明 利用C R V 分类方法和问题标准型Q S F 来理解问题，
6、有较快的回答问题的速度 和较高的准确率，实现了对问题的准确理解。 关键词：中文问答系统，问题分类，句型分析，粗糙集理论，支持向量机 广 杭州电子科技大学硕士学位论文 A B S T R A C T T h er a p i dd e v e l o p m e n to fI n t e r a c th a sp r o v i d e dp e o p l ew i t haw e a l t ho f i n f o r m a t i o nr e s o u r c e s A l t h o u g hp e o p l ec a nf i n dt h ei n f o r m
7、a t i o no nt h eI n t e r a c t t h r o u g hs e a r c he n g i n e sw h i c ht h e yn e e d ，b u ti no b t a i n i n gi n f o r m a t i o na tt h es a m e t i m e ，a l s oa t t a c h e dt ob r i n gal o to fu s e l e s si n f o r m a t i o n ，n e e dt h e mf u r t h e rt Oi d e n t i f y C o m p a
8、 r e dw i t ht h es e a r c he n g i n e s ，c h i n e s eq u e s t i o na n s w e r i n gs y s t e ma l l o w su s e r s t oq u e s t i o nw i t ht h ew a yo fn a t u r a ll a n g u a g e ，a n dr e t u r n e dt ot h eu s e rap r e c i s i o no f t h ea n s w e r , w i t h o u tr e q u i r i n gu s e
9、 r st oi d e n t i f yf u r t h e rt h ea c c u r a c yo ft h ea n s w e r , s h o r t e nt h eu s e r st or e t r i e v ei n f o r m a t i o no ft i m e ，C a nb e t t e rs a t i s f yp e o p l e Sa c q u i r e i n f o r m a t i o nn e e d s C h i n e s e q u e s t i o nc o m p r e h e n s i o n i s
10、t h ef o u n d a t i o n o fc h i n e s e q u e s t i o n a n s w e r i n gs y s t e m ，a n do n l yo nt h eb a s eo fc o r r e c ta n a l y s i sa n du n d e r s t a n d i n go f q u e s t i o n s ，j u s t t h ep o s s i b l er e t u r nt h ec o r r e c ta n s w e rt ot h eu s e r Q u e s t i o n c
11、 o m p r e h e n s i o n c o n t a i n s q u e s t i o n sp r e p r o c e s s i n g ，s y n t a c t i cp a r s i n g ，q u e s t i o n c l a s s i f i c a t i o n ，s e n t e n c ea n a l y s i s ，a n ds h a l l o ws e m a n t i ca n a l y s i sp r o c e s s Q u e s t i o n c l a s s i f i c a t i o na
12、 n ds e n t e n c ea n a l y s i sa st w ov e r yi m p o r t a n tp r o c e s s e st ou n d e r s t a n d ， q u e s t i o n si sa c c u r a t eo rn o td i r e c t l ya f f e c tt h ea c c u r a c yo ft h ef i n a la n s w e Ls e n t e n c e a n a l y s i sd e t e r m i n et h eg e n e r a t i o nm o
13、 d eo ft h ea n s w e r s ，a n dt h ec o n s i s t e n tp a t t e r n s c o m p o s i t i o nd e t e r m i n e s t h ea n s w e ri m p o r t a n td e g r e e T h i sp a p e rs t u d i e st h e f o l l o w i n gt h r e ea s p e c t s ： ( 1 ) A i m e da tt h es h o r t c o m i n g so fs u p p o r tv e
14、 c t o rm a c h i n ec l a s s i f i c a t i o ns u c ha s l a r g ea m o u n to fd a t aq u a n t i t yd i m e n s i o ns l o w l yp r o c e s s i n ga n dS Oo n ，an e wm e t h o d C R Vw a ss u g g e s t e d ，i tu s e sa t t r i b u t er e d u c t i o ni nr o u g hs e tt h e o r yt Op r e p r o c
15、e s s p r i m i t i v eg r e a ts a m p l ed a t a ，i m p r o v et h ec o n v e r g e n c es p e e da n da c c u r a c yo f c l a s s i f i c a t i o no fs u p p o r tv e c t o rm a c h i n e si ne l i m i n a t er e d u n d a n tf e a t u r ev e c t o ra n d r e d u c et h ed i m e n s i o no f s a
16、 m p l e dd a t as p a c e ( 2 ) A f t e rq u e s t i o nc l a s s i f i c a t i o n ，f o rt h es a m et y p e ，a i m i n ga tt h es a m eq u e s t i o n f o c u sC a nh a v ea sm a n ym e t h o do fq u e s t i o n ，i no r d e rt om a k et h es a m et y p ea n dt h e s a m ef o c u so f q u e s t i o n sC a np r e s sw i t hs a m em e t h o dp r o c e s s i n g ，s u c ha l r e a d y r e d u c e dF A Q s t o r a g es p a c e ，a l s oa c c e l e r a t et h es p e e do fa n s w e
