《中文信息处理与汉语研究课件》由会员分享，可在线阅读，更多相关《中文信息处理与汉语研究课件（26页珍藏版）》请在金锄头文库上搜索。
1、中文信息处理与汉语研究现状和发展詹卫东北京大学中文系北京大学汉语语言学研究中心北京，http:/ 2003.10.5 - 10.61提纲1)中文信息处理研究的格局2)中文信息处理的现状和发展趋势3)语言知识资源的建设4)面向中文信息处理的汉语研究2一中文信息处理研究的格局信息的两个层次：符号层中文/汉语/汉字内容层符号所承载的意义中文信息处理的两个层次：字符处理（输入、存储、输出等）内容处理（词语切分，词性标注，结构分析，意义理解，推理，翻译等等）（信号vs.信息）3符号层的信息处理拼音文字：小字符集比较容易非拼音文字：大字符集难度很大汉字是一个大字符集说文解字（东汉）：9353字玉篇（南朝）
2、收录16,917字广韵（宋代）收字26,194字字汇（明朝）收录33,197字康熙字典（清朝）收录47,043字汉语大字典（1992年）5.6万中华字海（1994年） 8.6万拉丁字母只有26个符号斯拉夫字母只有33个符号阿尔明尼亚字母只有38个符号泰米尔字母只有36个符号缅甸字母只有52个符号泰文字母只有44个符号老挝字母只有27个符号藏文字母只有35个符号韩文字母只有24个符号日文假名只有48个符号4符号层的信息处理汉字输入汉字输入自动输入自动输入键盘输入键盘输入字形识别字形识别声音识别声音识别手写体识别手写体识别印刷体识别印刷体识别在线手写在线手写脱机手写脱机手写整字键盘整字键盘通用键盘
3、通用键盘主辅式主辅式感应式感应式形码形码音码音码形音结合码形音结合码1234567895内容层的信息处理形态丰富的语言（inflectinglanguage）：处理难形态不丰富的语言（analyticlanguage）：处理更难汉语英语老师都来了Allprofessorscamehere.张老师都来了EvenProfessorZhangcamehere.编辑工作很难Editingisverydifficult.如何当好编辑Howtobecomeagoodeditor6内容层的信息处理原文原文输入译前编辑词法分析句法分析语义分析语境分析内部表示转换译词选择译后编辑译文输出词形变化句子生成译文12
4、3456789101112机器翻译全过程机器翻译全过程需要语言知识！7内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪 系 点 脑 机 树共有149841151676895.8亿种可能性学 洗 电 闹 给 述学 西 颠 挠 记 书候选词串学习 电脑 级数共有21714种可能性血洗 电脑 奇数血洗 电脑 基数正确文字串学习电脑技术8内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪 系 点 脑 机 树共有149841151676895.8亿种可能性学 洗 电 闹 给 述学 西 颠 挠 记 书候选词串学习 电脑 级数
5、共有21714种可能性血洗 电脑 奇数血洗 电脑 基数正确文字串学习电脑技术9内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪 系 点 脑 机 树共有149841151676895.8亿种可能性学 洗 电 闹 给 述学 西 颠 挠 记 书候选词串学习 电脑 级数共有21714种可能性血洗 电脑 奇数血洗 电脑 基数正确文字串学习电脑技术10内容层处理对符号层处理的反作用拼音串（无声调）xuexidiannaojishu候选字串雪 系 点 脑 机 树共有149841151676895.8亿种可能性学 洗 电 闹 给 述学 西 颠 挠 记 书候选词串学习 电脑 级数共有21714种可能性血洗 电脑 奇数血洗 电脑 基数正确文字串学习电脑技术11二中文信息处理的现状和发展趋势现状符号层的处理成果已经得到广泛应用；中文输入/字库/字处理软件/排版/内容层的处理目前在词语识别和词性标注方面已经取得重要进展，句子结构分析和语义分析方面仍有待探索12系统演示北京大学现代汉语分词/词性标注/句法分析系统（孙斌、刘群、常宝宝、詹卫东等）http:/
