《国家语委现代汉语语料库介绍》由会员分享，可在线阅读，更多相关《国家语委现代汉语语料库介绍（45页珍藏版）》请在金锄头文库上搜索。
1、国家语委现代汉语语料库介绍 肖航 教育部语言文字应用研究所 2012 语料库建设语料库建设 国家语委语料库建设国家语委语料库建设 19911991年年1212月国家语言文字工作委员会提出立项 月国家语言文字工作委员会提出立项 19921992年年4 4月召开现代汉语语料库选材原则专家论证会 月召开现代汉语语料库选材原则专家论证会 19931993年年1 1月制订月制订 现代汉语语料库选材原则现代汉语语料库选材原则 19931993年年9 9月召开现代汉语语料库选材专家审定会 月召开现代汉语语料库选材专家审定会 19981998年底建成年底建成 70007000万字的生语料库 万字的生语料库 目
2、前已完成目前已完成1 1亿字生语料和亿字生语料和50005000万字标注语料 万字标注语料 语料库建设和加工工作还在继续进行 语料库建设和加工工作还在继续进行 被列为国家语委 九五 十五 科研重大项目被列为国家语委 九五 十五 科研重大项目 得到国家科技部 得到国家科技部 863 863 973 973 计划多个项目的支持计划多个项目的支持 智能中文信息处理平台 智能中文信息处理平台 图像 语音和自然语言理解 图像 语音和自然语言理解 中文信息处理应用基础研究 中文信息处理应用基础研究 生语料库生语料库 语料库的主要内容语料库的主要内容 未经标注加工的生语料库未经标注加工的生语料库 标注语料库
3、标注语料库 词语切分词语切分 词类标注词类标注 句法树库句法树库 内部结构内部结构 外部功能外部功能 分词词表分词词表 8800088000词条词条 词性标注词性标注 频率信息频率信息 语料库加工标注规范语料库加工标注规范 语料库软件工具语料库软件工具 标注语料库标注语料库 句法树库句法树库 语料库的主要用途语料库的主要用途 主要用途主要用途 语言文字的信息处理语言文字的信息处理 语言文字规范和标准的制定语言文字规范和标准的制定 语言文字的学术研究语言文字的学术研究 语文教育语文教育 语言文字的社会应用语言文字的社会应用 语料来源语料来源 19931993年以前的语料年以前的语料 以人工录入印
4、刷版本的语料为主以人工录入印刷版本的语料为主 约约70007000万字万字 19931993 20022002年的语料年的语料 部分采用人工录入印刷版本语料部分采用人工录入印刷版本语料 约约15001500万字万字 部分来源自网络电子文本部分来源自网络电子文本 约约15001500万字万字 20022002以后的语料以后的语料 以网络电子文本为主以网络电子文本为主 约约10001000万字万字 语料分类语料分类 三个主要类别三个主要类别 人文与社会科学人文与社会科学类类 包括政法 历史 社会 经济 文学 艺术等类别语言材料包括政法 历史 社会 经济 文学 艺术等类别语言材料 自然科学类自然科学
5、类 自然科学自然科学的语言材料的语言材料 含农业 工业 医学 电子 工程技 含农业 工业 医学 电子 工程技 术等 术等 涉及科学技术发展的各个领域 涉及科学技术发展的各个领域 综合类综合类 应用文应用文 难于归类的语料难于归类的语料 人文与社会科学类人文与社会科学类 人文与社会科学类划分为人文与社会科学类划分为8 8个大类和个大类和3030个小类 个小类 政法 哲学 政治 宗教 法律 政法 哲学 政治 宗教 法律 历史 历史 考古 民族 历史 历史 考古 民族 社会 社会学 心理 语言文字 教育 文艺理论 新闻 社会 社会学 心理 语言文字 教育 文艺理论 新闻 民俗 民俗 经济 工业经济
6、农业经济 政治经济 财贸经济 经济 工业经济 农业经济 政治经济 财贸经济 艺术 音乐 美术 舞蹈 戏剧 艺术 音乐 美术 舞蹈 戏剧 文学 小说 散文 传记 报告文学 科幻 口语 文学 小说 散文 传记 报告文学 科幻 口语 军体 军事 体育 军体 军事 体育 生活 生活 人文与社会科学类人文与社会科学类约占语料总量的约占语料总量的5050 自然科学类自然科学类 自然科学划分为自然科学划分为6 6类 类 数理数理 生化生化 天文地理天文地理 海洋气象海洋气象 农林农林 医药卫生医药卫生 自然科学类约占语料总量的自然科学类约占语料总量的3030 综合类综合类 综合类语料由应用文和难于归类的其他
7、语料两部分组成 综合类语料由应用文和难于归类的其他语料两部分组成 应用文主要包括以下应用文主要包括以下6 6类 类 行政公文 请示 报告 批复 命令 指示 布告 纪要 行政公文 请示 报告 批复 命令 指示 布告 纪要 通知等 通知等 章程法规 章程 条例 细则 制度 公约 办法 法律条章程法规 章程 条例 细则 制度 公约 办法 法律条 文等 文等 司法文书 诉讼 辩护词 控告信 委托书等 司法文书 诉讼 辩护词 控告信 委托书等 商业文告 说明 广告 调查报告 经济合同等 商业文告 说明 广告 调查报告 经济合同等 礼仪辞令 欢迎词 贺电 讣告 唁电 慰问信 祝酒词等 礼仪辞令 欢迎词 贺
8、电 讣告 唁电 慰问信 祝酒词等 实用文书 请假条 检讨 申请书 请愿书等 实用文书 请假条 检讨 申请书 请愿书等 综合类约占语料总量的综合类约占语料总量的2020 样例样例 语料分类语料分类 语料库选材语料库选材 人文与社会科学类人文与社会科学类 以以19191919年为上限 选取五四以来的语言材料 年为上限 选取五四以来的语言材料 对五四以来各个历史时期的语料采取不等密度选用的方式 对五四以来各个历史时期的语料采取不等密度选用的方式 自然科学类自然科学类 比较通用的中 小学各科教材 比较通用的中 小学各科教材 比较通用的具有通论性质的大学各科基础必修课程的教材 比较通用的具有通论性质的大
9、学各科基础必修课程的教材 涉及自然科学各个门类的科普读物 涉及自然科学各个门类的科普读物 教材教材 选取当时通用的教材为建库的语言材料 选取当时通用的教材为建库的语言材料 中小学课本所选内容涉及的各个学科的基本知识中小学课本所选内容涉及的各个学科的基本知识 一般为典范的现代汉语作品 应具有相当的普及性 代表性 一般为典范的现代汉语作品 应具有相当的普及性 代表性 语料库选材的历时性语料库选材的历时性 以人文与社会科学类为例以人文与社会科学类为例 1919 1925年 约占5 五四时期的白话文仍留有文言痕迹 选用少量的影响较大的代表性作品 被选用的作品在行文上要尽量符合现代汉语的规范 1926
10、1949年 约占15 白话文逐步脱离文言痕迹 现代汉语日趋成熟的时期 1950 1965年 约占25 新中国的成立给社会文化生活带来巨大变化 新词新语大量涌现 1966 1976年 约占5 文革时期的作品 其中许多仅作为历史词语存于现代汉语之中 1977 至今 占50 以上 新时期的语料代表了现代汉语的新发展 每年按选材原则增补300万字左右的语料 语料的通用性原则语料的通用性原则 作为通用型语料库 应该比较真实地反映现代汉语在文字 词汇 作为通用型语料库 应该比较真实地反映现代汉语在文字 词汇 语法 语义等方面的全貌 语法 语义等方面的全貌 在语料的选择上 应当具有区别性特征 在语料的选择上
11、 应当具有区别性特征 有别于专业性有别于专业性 有别于地域性有别于地域性 有别于纯口语性有别于纯口语性 尽可能地提高所选语料在采字 采词 采句和采义等方面的广度 尽可能地提高所选语料在采字 采词 采句和采义等方面的广度 要考虑到语料的时间层次 文化层次和社会使用面等层次 要考虑到语料的时间层次 文化层次和社会使用面等层次 时间层次 时间层次 文化层次 以具有高中文化程度的人能够阅读的语料为主 文化层次 以具有高中文化程度的人能够阅读的语料为主 社会使用面层次 社会使用面层次 以社会使用面较为广泛的语料为主 其他语料为辅 以人文以社会使用面较为广泛的语料为主 其他语料为辅 以人文 与社会科学为主
12、 自然科学为辅 以门类为主 以语体为辅 与社会科学为主 自然科学为辅 以门类为主 以语体为辅 语料抽样原则语料抽样原则 语言材料的多样性语言材料的多样性 选用政论性文章 新闻报道 各类文学艺术作品 科普选用政论性文章 新闻报道 各类文学艺术作品 科普 读物 通俗读物 学术专论及各种应用文语体等现代汉读物 通俗读物 学术专论及各种应用文语体等现代汉 语作品 语作品 语言材料的完整性语言材料的完整性 20002000字以下的文章原则上全篇采用 字以下的文章原则上全篇采用 报纸可采取整篇文章 整版和整张相结合的方式 报纸可采取整篇文章 整版和整张相结合的方式 语言材料的遍历性语言材料的遍历性 选材要
13、注意各学科 各学科分支 各行各业 以及社会选材要注意各学科 各学科分支 各行各业 以及社会 生活各个领域的语言文字应用的代表性 生活各个领域的语言文字应用的代表性 语料抽样数量语料抽样数量 书籍书籍 抽样数量一般占全书字数的抽样数量一般占全书字数的3 3 5 5 字数最多不超过 字数最多不超过 1000010000字 样本容量字 样本容量20002000字 允许字 允许 500500字 字 报纸报纸 采用整版 采用整版 4 4版或版或8 8版 选用的方式 不同的报纸选用不版 选用的方式 不同的报纸选用不 同的月份 以免内容重复 同的月份 以免内容重复 报纸上的广告 启事等归在应用文类 不在报刊
14、类语料报纸上的广告 启事等归在应用文类 不在报刊类语料 的统计之列 的统计之列 刊物刊物 每本刊物上所选的总字数原则上不超过每本刊物上所选的总字数原则上不超过50005000字 样本容字 样本容 量量20002000字 允许字 允许 500500字 字 语料抽样方式语料抽样方式 对同一版面的不同文章 按从上至下 从左到右的顺序对同一版面的不同文章 按从上至下 从左到右的顺序 选取 选取 一个样本必为同一作者的同一篇文章 限字数不限样本一个样本必为同一作者的同一篇文章 限字数不限样本 数 报刊除外 数 报刊除外 每个样本之中必为连续的语料内容 每个样本之中必为连续的语料内容 应用文 包括广告 说
15、明书等 应用文 包括广告 说明书等 20002000字以内的应用文宜整篇选用 对于篇幅较长的应字以内的应用文宜整篇选用 对于篇幅较长的应 用文 所选样本的容量为用文 所选样本的容量为20002000字 允许字 允许 500500字 字 语料抽样的其他原则语料抽样的其他原则 避免选取文言色彩较重的篇章作语料避免选取文言色彩较重的篇章作语料 例如鲁迅等作家的作品不宜用作语料 例如鲁迅等作家的作品不宜用作语料 避免选取诗歌作语料 剔除篇章中诗歌形式的内容 避免选取诗歌作语料 剔除篇章中诗歌形式的内容 大学教材门类以国家规定的大学基础必修课为准 大学教材门类以国家规定的大学基础必修课为准 选材年限及密
16、度的规定是着眼于科学的整体发展而制定的 选材年限及密度的规定是着眼于科学的整体发展而制定的 各个学科的发展在不同的年代并不是齐头并进的 可根据具体情各个学科的发展在不同的年代并不是齐头并进的 可根据具体情 况适当调整依年限分布的比例 字数 况适当调整依年限分布的比例 字数 调整的理由 调整后的比例和字数当详细说明 并作为附件收于调整的理由 调整后的比例和字数当详细说明 并作为附件收于 清单之后 清单之后 语料样本信息语料样本信息 语料样本最多包含语料样本最多包含2424个信息个信息 样例样例 语料相关信息语料相关信息 语料库样本分布 类别语料库样本分布 类别 语料库样本分布 时间语料库样本分布 时间 标注语料的类别分布标注语料的类别分布 语料库的建设和加工语料库的建设和加工 遵循国内外信息处理领域通用的语料库加工方式 标注遵循国内外信息处理领域通用的语料库加工方式 标注 分词和词性 分词和词性 在面向信息处理的同时 重视为语言本体研究服务 在面向信息处理的同时 重视为语言本体研究服务 在加工过程中制定了 信息处理用词类标记集规范 等在加工过程中制定了 信息处理用词类标记集规范 等 语料
