《自然语言处理》由会员分享,可在线阅读,更多相关《自然语言处理(6页珍藏版)》请在金锄头文库上搜索。
1、自然语言处理维基百科,自由的百科全书跳转到: 导航、 搜索自然语言处理(Natural Language Processing简称NLP)是人工智能和语言学领域的分支学科。在这此领域中探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。目录隐藏 1 任务和限制 2 实际问题 3 自然语言处理的主要范畴 4 自然语言处理研究的难点 5 当前自然语言处理研究的发展趋势 6 统计自然语言处理 7 参考 8 相关链结o 8.1 相关实例编辑 任务和限制理论上,NLP是一种很吸引人的
2、人机交互方式。早期的语言处理系统如SHRDLU,当它们处于一个有限的“积木世界”,运用有限的词汇表会话时,工作得相当好。这使得研究员们对此系统相当乐观,然而,当把这个系统拓展到充满了现实世界的含糊与不确定性的环境中时,他们很快丧失了信心。由于理解(understanding)自然语言,需要关于外在世界的广泛知识以及运用操作这些知识的能力,自然语言认知,同时也被视为一个人工智能完备(AI-complete)的问题。同时,在自然语言处理中,理解的定义也变成一个主要的问题。有关理解定义问题的研究已经引发关注【http:/ 】。编辑 实际问题一些NLP面临的问题实例: 句子“我们把香蕉给猴子,因为它们
3、饿了”和“我们把香蕉给猴子,因为它们熟透了”有同样的结构。但是代词“它们”在第一句中指的是“猴子”,在第二句中指的是“香蕉”。如果不了解猴子和香蕉的属性,无法区分。编辑 自然语言处理的主要范畴 文本朗读(Text to speech)/语音合成(Speech synthesis) 语音识别(Speech recognition) 中文自动分词(Chinese word segmentation) 词性标注(Part-of-speech tagging) 句法分析(Parsing) 自然语言生成(Natural language generation) 文本分类(Text categorizat
4、ion) 信息检索(Information retrieval) 信息抽取(Information extraction) 文字校对(Text-proofing) 问答系统(Question answering) 机器翻译(Machine translation) 自动摘要(Automatic summarization) 文字蕴涵(Textual entailment)编辑 自然语言处理研究的难点单词的边界界定在口语中,词与词之间通常是连贯的,而界定字词边界通常使用的办法是取用能让给定的上下文最为通顺且在文法上无误的一种最佳组合。在书写上,汉语也没有词与词之间的边界。词义的消歧许多字词不单只
5、有一个意思,因而我们必须选出使句意最为通顺的解释。句法的模糊性自然语言的文法通常是模棱两可的,针对一个句子通常可能会剖析(Parse)出多棵剖析树(Parse Tree),而我们必须要仰赖语意及前后文的资讯才能在其中选择一棵最为适合的剖析树。有瑕疵的或不规范的输入例如语音处理时遇到外国口音或地方口音,或者在文本的处理中处理拼写,语法或者光学字符识别(OCR)的错误。语言行为与计划句子常常并不只是字面上的意思;例如,“你能把盐递过来吗”,一个好的回答应当是把盐递过去;在大多数上下文环境中,“能”将是糟糕的回答,虽说回答“不”或者“太远了我拿不到”也是可以接受的。再者,如果一门课程去年没开设,对于
6、提问“这门课程去年有多少学生没通过?”回答“去年没开这门课”要比回答“没人没通过”好。编辑 当前自然语言处理研究的发展趋势第一,传统的基于句法-语义规则的理性主义方法受到质疑,随着语料库建设和语料库语言学的崛起,大规模真实文本的处理成为自然语言处理的主要战略目标。第二,统计数学方法越来越受到重视,自然语言处理中越来越多地使用机器自动学习的方法来获取语言知识。第三,浅层处理与深层处理并重,统计与规则方法并重,形成混合式的系统。第四,自然语言处理中越来越重视词汇的作用,出现了强烈的“词汇主义”的倾向。词汇知识库的建造成为了普遍关注的问题。编辑 统计自然语言处理统计自然语言处理运用了推测学、机率、统
7、计的方法来解决上述,尤其是针对容易高度模糊的长串句子,当套用实际文法进行分析产生出成千上万笔可能性时所引发之难题。处理这些高度模糊句子所采用消歧的方法通常运用到语料库以及马可夫模型(Markov models)。统计自然语言处理的技术主要由同样自人工智能下与学习行为相关的子领域:机器学习及资料采掘所演进而成。编辑 参考 科幻小说中的Universal translator(万能翻译机) 计算机科学课程列表 电脑语言学 controlled natural language 资讯检索 自然语言理解 latent semantic indexing 语言资讯处理学 统计自然语言处理编辑 相关链结
8、人类语言技术当前发展情况概览 哥伦比亚大学自然语言处理研究组 卡内基梅隆大学语言技术研究院 斯坦福大学自然语言处理研究小组 中文自然语言处理开放平台 ACL(美国电脑语言学协会)提供的相关杂志以及研讨会的论文 自然语言理解问题研究的材料编辑 相关实例 GATE: a Java Library for Text Engineering LTP:语言技术平台(简体中文) MARF Python编程语言的自然语言处理工具包教程显示隐藏查 论 编计算机科学主要领域数学基础数理逻辑 集合论 数论 图论 类型论 范畴论 数值分析 信息论计算理论自动机 可计算性理论 计算复杂性理论 量子计算 数值计算方法算
9、法 和 数据结构算法分析 算法设计 计算几何编程语言 和 编译器语法分析器 解释器 过程化编程 面向对象程序编程 函数式编程 逻辑编程 编程范型并发, 并行 和 分布式 系统多处理器 网格计算 并发控制软件工程需求分析 软件设计 程序设计 形式化方法 软件测试 软件开发过程系统架构计算机系统结构 微处理器体系结构 操作系统电信 与 网络路由 网络拓扑 密码学数据库数据库管理系统 关系数据库 SQL 事务处理 数据库索引 数据挖掘人工智能自动推理 计算语言学 计算机视觉 进化计算 专家系统 机器学习 自然语言处理 机器人学计算机图形学可视化 计算机动画 图像处理人机交互计算机辅助功能 用户界面
10、可穿戴计算机 普适计算 虚拟现实科学计算人工生命 生物信息学 认知科学 计算化学 计算神经科学 计算物理学 数值算法 符号计算注释:计算机科学领域也可根据ACM-1998分类系统进行分类。来自“http:/zh.wikipedia.org/w/index.php?title=自然语言处理&oldid=” 查看条目评分给本文评分给本文评分条目评分这是什么?当前平均分。可信度客观性完整性可读性我非常了解与本主题相关的知识(可选)我有与其有关的大学学位这是我专业的一部分个人对此有深厚的兴趣文中未列出我所了解知识的来源我想帮助改善维基百科,请给我发送一封电子邮件(可选)我们将向您发送确认电子邮件。基于反馈隐私政策,我们不会与任何人共享您的地址。提交评分保存成功你的评分尚未提交你的评分已过期请重新评估本条目并重新评分。发生了一个错误。请稍后重试。谢谢!你的评分已保存。您要创建帐户吗?帐户将帮助您跟踪您所做的编辑,参与讨论,并成为社群的一分子。创建帐户或者登录以后再说谢谢!你的评分已保存。您知道您可以编辑这个页面吗?编辑本页以后再说4个分类: 人工智能 人工智能应用 自然语言处理 人机互动