《机器翻译IIMachineTranslationII》由会员分享，可在线阅读，更多相关《机器翻译IIMachineTranslationII（64页珍藏版）》请在金锄头文库上搜索。
1、机器翻译II Machine Translation II张宇哈尔滨工业大学计算机科学与技术学院 * *1 1语言信息处理语言信息处理- -机器翻译机器翻译II II大纲l基于翻译记忆的机器翻译方法l基于模板（模式）的机器翻译方法l双语语料库对齐技术 句子对齐 词语对齐l机器翻译的评价DateDate2 2语言信息处理语言信息处理- -机器翻译机器翻译II II翻译记忆方法1l翻译记忆方法（Translation Memory）是基于实 例方法的特例；l也可以把基于实例的方法理解为广义的翻译记忆 方法；l翻译记忆的基本思想： 把已经翻译过的句子保存起来 翻译新句子时，直接到语料库中去查找l如果
2、发现相同的句子，直接输出译文l否则交给人去翻译，但可以提供相似的句子的参考译文DateDate3 3语言信息处理语言信息处理- -机器翻译机器翻译II II翻译记忆方法2l翻译记忆方法主要被应用于计算机辅助翻 译（CAT）软件中l翻译记忆方法的优缺点 翻译质量有保证 随着使用时间匹配成功率逐步提高 特别适用于重复率高的文本翻译，例如公司的 产品说明书的新版本翻译 与语言无关，适用于各种语言对 缺点是匹配成功率不高，特别是刚开始使用时DateDate4 4语言信息处理语言信息处理- -机器翻译机器翻译II II翻译记忆方法3l计算机辅助翻译（CAT）软件已经形成了比较成熟的产业 TRADOSl号
3、称占有国际CAT市场的70% lMicrosoft、Siemens、SAP等国际大公司和一些著名的国际组织都是 其用户 雅信CATl适合中国人的习惯 l产品已比较成熟 国际组织： LISA（Localisation Industry Standards Association ） l面向用户：专业翻译人员 l数据交换：LISA制定了TMX（Translation Memory eXchange）标准。DateDate5 5语言信息处理语言信息处理- -机器翻译机器翻译II II翻译记忆方法4l完整的计算机辅助翻译软件除了包括翻译 记忆功能以外，还应该包括以下功能 多种文件格式的分解与合成 术语
4、库管理功能 语料库的句子对齐（历史资料的重复利用） 项目管理：l翻译任务的分解与合并l翻译工作量的估计 数据共享和数据交换DateDate6 6语言信息处理语言信息处理- -机器翻译机器翻译II II翻译记忆方法5DateDate7 7语言信息处理语言信息处理- -机器翻译机器翻译II II基于模板(模式)的机器翻译方法1l基于模板（Template）或者模式（Pattern）的机器翻译 方法通常也被看做基于实例的机器翻译方法的一种延伸 l所谓“翻译模板”或者“翻译模式”可以认为是一种颗粒度介 于“翻译规则”和“翻译实例”之间的翻译知识表示形式 翻译规则：颗粒度大，匹配可能性大，但过于抽象，容
5、易出错 翻译实例：颗粒度小，不易出错，但过于具体，匹配可能性小 翻译模板（模式）：介于二者之间，是一种比较合适的知识表示 形式 l一般而言，单语模板（或模式）是一个常量和变量组成的 字符串，翻译模板（或模式）是两个对应的单语模板（或 模式），两个模板之间的变量存在意义对应关系DateDate8 8语言信息处理语言信息处理- -机器翻译机器翻译II II基于模板(模式)的机器翻译方法2l模板举例： 这个X 比Y 更Z。 The X is more Z than Y.l模板方法的主要问题 对模板中变量的约束 模板抽取 模板的冲突消解DateDate9 9语言信息处理语言信息处理- -机器翻译机器翻
6、译II IIPattern-Based CFG for MT 1lKoichi Takeda, Pattern-Based Context- Free Grammars for Machine Translation, Proc. of 34th ACL, pp. 144- 151, June 1996l给出了翻译模式的一种形式化定义，并给 出了相应的翻译算法以及算法复杂性的理 论证明DateDate1010语言信息处理语言信息处理- -机器翻译机器翻译II IIPattern-Based CFG for MT 2l每个翻译模板由一个源语言上下文无关规则和一个目标 语言上下文无关规则（这两个规
7、则称为翻译模板的骨架 ），以及对这两个规则的中心词约束和链接约束构成； l中心词约束：对于上下文无关语法规则中右部（子结点 ）的每个非终结符，可以指定其中心词；对于规则左部 （父结点）的非终结符，可以直接指定其中心词，也可 以通过使用相同的序号规定其中心词等于其右部的某个 非终结符的中心词； l链接约束：源语言骨架和目标语言骨架的非终结符子结 点通过使用相同的序号建立对应关系，具有对应关系的 非终结符互为翻译。DateDate1111语言信息处理语言信息处理- -机器翻译机器翻译II IIPattern-Based CFG for MT 3DateDate1212语言信息处理语言信息处理- -
8、机器翻译机器翻译II IIPattern-Based CFG for MT 3l翻译的过程分为三步： 使用源语言CFG骨架分析输入句子s 应用源语言到目标语言的CFG骨架的链接约束，生成一个译文 CFG推导序列 根据译文CFG推导序列产生译文 l模板排序的启发式原则： 对于源文CFG骨架相同的模板，有中心词约束的模板优先于没有 中心词约束的模板； 对于同一跨度上的两个结点，比较其对应的模板的源文CFG骨架 ，非终结符少的模板优先于非终结符多的模板； 中心词约束被满足的结点优先于中心词约束不被满足的结点； 对于一个输入串而言，分析步骤越短（推导序列越短）越优先。DateDate1313语言信息处
9、理语言信息处理- -机器翻译机器翻译II IIPattern-Based CFG for MT 4l模板库的获取：假设T是一组翻译模板，B是双语 语料库，是一对互为翻译的句子 如果T能够翻译句子s为t，那么do nothing； 如果T将s译为t（不等于t），那么：l如果T中存在的推导Q，但这个推导不是最优 解，那么给Q中的模板进行实例化；l如果不存在这种推导，那么加入适当的模板，使 得推导成立； 如果根本无法翻译s（分析失败），那么将直接加 入到模板库中。DateDate1414语言信息处理语言信息处理- -机器翻译机器翻译II II模板的自动提取l利用一对实例进行泛化 Jaime G. C
10、arbonell, Ralf D. Brown, Generalized Example-Based Machine Translationhttp:/www.lti.cs.cmu.edu/Research/GEBMT/l利用两对实例进行比较 H. Altay Guvenir, Ilyas Cicekli, Learning Translation Templates from Examples Information Systems, 1998 张健，基于实例的机器翻译的泛化方法研究，中科院 计算所硕士论文，2001DateDate1515语言信息处理语言信息处理- -机器翻译机器翻译II
11、II通过泛化实例得到翻译模板l已有实例： Karl Marx was born in Trier, Germany in May 5, 1818. 卡尔马克思于1818年5月5日出生在德国特里尔城。l泛化： was born in in 于出生在l对齐 DateDate1616语言信息处理语言信息处理- -机器翻译机器翻译II II通过比较实例得到翻译模板l已有两对翻译实例： 我给玛丽一支笔 I gave Mary a pen. 我给汤姆一本书 I gave Tom a book. l双侧单语句子分别比较，得到： 我给#X 一#Y #Z I give #W a #U. l查找变量的对应关系：
12、#X #W #Y #Z #UDateDate1717语言信息处理语言信息处理- -机器翻译机器翻译II II实例库的匹配1l实例匹配的目的是将输入句子分解成语料库中实 例片断的组合，这是基于实例的机器翻译的关键 问题之一，实例匹配的各种方法有很大的差异， 还没有那种做法显示出明显的优势；l实例库匹配的效率问题：由于实例库规模较大， 通常需要建立倒排索引；l实例库匹配的其他问题： 实例片断的分解： 实例片断的组合：DateDate1818语言信息处理语言信息处理- -机器翻译机器翻译II II实例库的匹配2l实例片断的分解 实例库中的句子往往太长，直接匹配成功率太 低，为了提高实例的重用性，需要
13、将实例库中 的句子分解为片断 几种通常的做法：l按标点符号分解l任意分解l通过组块分析进行分解DateDate1919语言信息处理语言信息处理- -机器翻译机器翻译II II实例库的匹配3l实例片断的组合 一个被翻译的句子，往往可以通过各种不同的 实例片断进行组合，如何选择一个最好的组合 ？ 简单的做法：l最大匹配l最大概率法：选择概率乘积最大的片断组合 有点像汉语词语切分问题DateDate2020语言信息处理语言信息处理- -机器翻译机器翻译II II片断译文的选择l由于语料库中一个片断可能有多种翻译方 法，因此存在片断译文的选择问题；l常用的方法： 根据片断上下文进行排歧； 根据译文的语
14、言模型选择概率最大的译文片断 组合DateDate2121语言信息处理语言信息处理- -机器翻译机器翻译II II实例库的对齐l实例库又称双语语料库（Bilingual Corpus）或平 行语料库（Parallel Corpus） l双语语料库对齐的级别 篇章对齐 段落对齐 句子对齐 词语对齐 短语块对齐 句法结构对齐 l基于实例的机器翻译中实例库必须至少做到句子 级别的对齐DateDate2222语言信息处理语言信息处理- -机器翻译机器翻译II II不同对齐级别的差异l段落对齐和句子对齐 要求保持顺序（允许局部顺序的调整） 只有一个层次 l词语对齐和短语块对齐 不要求保持顺序 只有一个层
15、次 l句法结构对齐 不要求保持顺序 多层次对齐DateDate2323语言信息处理语言信息处理- -机器翻译机器翻译II II句子对齐1汉语汉语英语语模式1995年初我来成都的那天， 没想到会是在一个冬季的 漆黑的日子。I little thought when I arrived in Chengdu in the dark, dark days of winter, early in 1995, that I would still be here more than five years later.1：1那时我也根本没有想到会 在这儿呆上五年，也不知 道我会遇到一位成都的女 儿，并且后来还娶她为妻。 一个完全陌生的家庭接纳 了我，我也因此成为成都 的一部分。I little knew that I would meet one of Chengdus daughters, and later marry her, thus acquiring a whole new family who embraced me as one of them, and thus I became part of this place.2：1DateDate2424语言信息处理语言信息处理-
