《基于动词次范畴化的汉语句法分析后处理方法的研究》由会员分享,可在线阅读,更多相关《基于动词次范畴化的汉语句法分析后处理方法的研究(86页珍藏版)》请在金锄头文库上搜索。
1、在基于统计的句法分析方法中,最关键的两个问题是建立消解语言歧义统计 模型和句法分析后处理的设计,它们决定着句法分析系统的分析正确率和效率。 本文从事的工作则主要从句法分析后处理方面入手,提出了一个基于动词次范畴 化的汉语句法分析后处理的方法,主要研究工作如下: 1 研究现有常用的统计句法分析模型和句法分析算法,并对其进行综合分析 比较,而且解释了动词次范畴化句法模式的理论、形式化描写以及次范畴 化和对应的句法树之间的关系。 2 用统计句法分析模型产生n - b e s t 句法分析树输出,通过用基于转移的错误 驱动的学习方法来进行一步改善动词次范畴化的提取,进行相应的重排序 来寻找最优的句法分
2、析树,并进行了相应的基于动词次范畴化规则方法的 句法分析后处理实验。 3 通过用基于转移的错误驱动的学习方法来进行一步改善动词次范畴化的提 取,达到改善句法分析的最优解,并进行了基于动词次范畴化统计信息方 法的句法分析后处理实验。 本文的实验采用了中文信息学会C I P S P a r s E v a l 2 0 0 9 竞赛语料作为训 练语料,它来自于清华汉语语料库( T C T ) ,并用中文信息学会 C I P S P a r s E v a l 2 0 0 9 测试数据进行实验。实验表明本文最好的结果F l 值达到 8 8 7 5 9 接近中文信息学会句法分析C I P S P a r
3、 s E v a l 2 0 0 9 最好结果F l 值8 8 7 7 , 二些丝些一I 删i 嬲 i 宣i i 暑i 宣宣i i i i i i i i i i i i i 置i i i i i i i i i i i i i i i i i i i i i i i 萱i i i i 宣i i i i 宣i i 一 _ V - 一一 有利的证明本文的基于动词次范畴化的汉语句法分析后处理方法具有较高的句法 分析效率和正确率。 关键词:动词次范畴化;汉语句法分析后处理;句法分析 A b s t r a c t A b s t r a c t P a r s i n gi saf u n d a
4、m e n t a lp r o b l e mi nn a t u r a ll a n g u a g ep r o c e s s i n g T h em a i nt a s ko f p a r s i n gi st od e t e r m i n et h ei n p u ts e q u e n c eo fw o r d sw h e t h e rC a nc o n s t i t u t eas e n t e n c et o c o m p l y 丽t l lg r a m m a rr u l e ,t h a ti s ,t oc o n s t r u
5、 c tt h eh i e r a r c h i c a lc o n s t i t u e n ts t r u c t u r eo f a s e n t e n c e T h r o u g hu s i n gg r a m m a rr u l e a n do t h e r k n o w l e d g eo fn a t u r a ll a n g u a g e p r o c e s s i n g ,i tc h a n g e st h ei n p u ts e n t e n c eo r d e rb e t w e e nw o r d sf r
6、o mt h el i n e a ro r d e ri n t o an o n - l i n e a rd a t as t r u c t u r e I th a sm a n ya p p l i c a t i o n s ,s u c ha sm a c h i n et r a n s l a t i o n , i n f o r m a t i o nr e t r i e v a l ,a u t o m a t i cs u m m a r i z a t i o n ,i th a sai m p o r t a n tr o l e A b o u tb a s
7、 e ds t a t i s t i c a ls y n t a c t i cp a r s i n gm e t h o d s ,t h e r ea r et w oi m p o r t a n ti s s u e s O n ei st oe s t a b l i s hs t a t i s t i c a lm o d e lo fA m b i g u i t yR e s o l u t i o np a r s i n ga l g o r i t h m t h e o t h e ri st h ed e s i g no fs y n t a c t i c
8、p a r s i n gp o s t p r o c e s s ,t h e yd e t e r m i n et h es y n t a c t i c a n a l y s i ss y s t e ma c c u r a c ya n de f f i c i e n c y T h ep a p e ri sm a i n l ye n g a g e di nt h ew o r ko ft h e s y n t a c t i cp a r s i n ga s p e c t so fp o s t p r o c e s s i n g ,w h i c hb
9、a s e do nv e r bs u b c a t e g o f i z a t i o nf o r C h i n e s es y n t a c t i ca n a l y s i s T h em a i nr e s e a r c hw o r ki sa sf o l l o w s : 1 W es t u d y e x i s t i n gc o m m o ns t a t i s t i c a lp a r s i n gm o d e la n ds y n t a c t i ca n a l y s i s a l g o r i t h ma S
10、w e l la si t sc o m p r e h e n s i v ea n a l y s i sa n dc o m p a r i s o n , a n da l s o e x p l a i nt h ev e r bs u b e a t e g o r i z a t i o ns y n t a c t i cm o d e lt h e o r y , f o r m a ld e s c r i p t i o n , s y n t a c t i ct r e 圮sa n dt h ec o r r e s p o n d i n gr e l a t i
11、o n s h i po f v e r bs u b e a t e g o r i z a t i o n 2 W i t ht h es t a t i s t i cp a r s i n gm o d e lo u t p u t i n gt h en b e s tp a r s i n gt r e e s ,b yu s i n gt h e t r a n s f e r - b a s e de r r o r - d r i v e n l e a r n i n ga p p r o a c h t o i m p r o v e v e r b s u b c a
12、t e g o r i z a t i o ne x t r a c t i o n , w er e - s o r tt of i n d t h eo p t i m a lp a r s i n gt r e ea n d c o n d u c ts y n t a c t i ca n a l y s i sp o s t p r o c c s s i n ge x p e r i m e n to fr u l e b a s e dv e r b s u b e a t e g o f i z a t i o n 3 I no r d e rt of i n dt h ei
13、m p r o v i n go p t i m a ls o l u t i o no ft h es y n t a c t i ca n a l y s i s ,W eu s e t h et r a n s f e r - b a s e de r r o r - d r i v e nl e a r n i n ga p p r o a c ht om a k eb e t t e rs t a t i s t i c a lv e r b s u b c a t e g o r i z a t i o ne x t r a c t i o n M o r e o v e r ,
14、w ed ot h ee x p e r i m e n tu s i n gs y n t a c t i c a n a l y s i sp o s t p r o c e s s i n gm e t h o db a s e do nt h es t a t i s t i c a lv e r bs u b c a t e g o r i z a t i o n I I I 黑龙江大学硕士学位论文 W e p e r f o r me x p e r i m e n t so nt h eC I P SP a r s E v a l - 2 0 0 9d a t a s e tf
15、r o mT s i n g h u aC h i n e s e T r e e b a n k ( T C T ) E x p e r i m e n t a lr e s u l t ss h o wt h a to u rf i n a lm s d ti s a nF1 一s c o r eo f 8 8 7 5 9 ,c l o s et h ep r e v i o u s l yb e s tr e p o r t e ds y s t e m sr c p o r t c c lF 1 - s c o r eo f8 8 7 7 i n t h eC I P SP a r s
16、 E v a l 一2 0 0 9 T h i sc o n v i n c i n g l yd e m o n s t r a t e st h ee f f e c t i v e n e s sa n da c c u r a c y o fo u r p r o p o s e dv e r bs u b c a t e g o r i z a t i o n b a s e dp a r s i n gp o s t p r o c e s sf o rC h i n e s el a n g u a g e K e y w o r d s :V e r bs u b c a t e g o r i z a t i o n , C h i n e s es y n t a c t i cp a r s i n gp o s t p r o c e s s ,S y n t a c t i c p a r s i n g - 目录