《文本学习在机器学习的自动分类》由会员分享，可在线阅读，更多相关《文本学习在机器学习的自动分类（12页珍藏版）》请在金锄头文库上搜索。
1、精选优质文档-倾情为你奉上具有重要用途的研究课题。而在这些数据中，文本数据又是数量最大的一类。“文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程”（达观数据科技联合创始人，张健）。文本分类有着广泛的应用场景，例如： 新闻网站包含大量报道文章，基于文章内容，需要将这些文章按题材进行自动分类（例如自动划分成政治、经济、军事、体育、娱乐等。 在电子商务网站，用户进行了交易行为后对商品进行评价分类，商家需要对用户的评价划分为正面评价和负面评价，来获取各个商品的用户反馈统计情况。 电子邮箱频繁接收到垃圾广告信息，通过文本分类技术从众多的邮件中识别垃圾邮件并过滤，提高了邮箱用户的使用效率。
2、 媒体每日有大量投稿，依靠文本分类技术能够对文章进行自动审核，标记投稿中的色情、暴力、政治、垃圾广告等违规内容。 20世纪90年代以前，占主导地位的文本分类方法一直是基于知识工程的方法：借助专业人员的帮助，为每个类别定义大量的推理规则，如果一篇文档能满足这些推理规则，则可以判定属于该类别。但是这种方法有明显的缺点：分类的质量依赖于规则的好坏；需要大量的专业人员进行规则的制定；不具备可推广性，不同的领域需要构建完全不同的分类系统，造成开发资源和资金资源的巨大浪费。而机器学习技术能很好地解决上述问题，以统计理论为基础，利用算法让机器具有类似人类般的自动“学习”能力对已知的训练数据做统计分析从而获得
3、规律，再运用规律对未知数据做预测分析。机器学习方法运用在文本分类上的基本过程就是：标注利用人工对一批文档进行了准确分类，以作为训练集（进行机器学习的材料）；训练计算机从这些文档中挖掘出一些能够有效分类的规则，生成分类器（总结出的规则集合）；分类将生成的分类器应用在有待分类的文档集合中，获取文档的分类结果。由于机器学习方法在文本分类领域有着良好的实际表现，已经成为了该领域的主流。达观数据团队在处理海量数据方面具有丰富的经验，在文本分类技术方面有深入的实践，并将文本分类技术成功运用到了线上服务中，取得了良好的效果。本文整理了文本分类的基本方法和处理流程，进行了综述性介绍。（一）：文本预处理1.文本
4、分类流程文本分类的流程如图 1所示，包括训练、特征抽取、训练模型、分类预测等几个主要环节。图 1 文本分类流程图2.文本预处理2.1文档建模机器学习方法让计算机自己去学习已经分类好的训练集，然而计算机是很难按人类理解文章那样来学习文章，因此，要使计算机能够高效地处理真实文本，就必须找到一种理想的形式化表示方法，这个过程就是文档建模。文档建模一方面要能够真实地反映文档的内容，另一方面又要对不同文档具有区分能力。文档建模比较通用的方法包括布尔模型、向量空间模型（VSM）和概率模型。其中最为广泛使用的是向量空间模型。经典的向量空间模型(VSM： Vector Space Model)由Salton等
5、人于60年代提出，并成功地应用于著名的SMART文本检索系统。VSM概念非常直观把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度，直观易懂。当文档被表示为文档空间的向量时，就可以通过计算向量之间的相似性来度量文档间的相似性。文本处理中最常用的相似性度量方式是余弦距离。文本挖掘系统采用向量空间模型，用特征词条(T1，T2，Tn)及其权值Wi代表目标信息，在进行信息匹配时，使用这些特征项评价未知文本与目标样本的相关程度。特征词条及其权值的选取称为目标样本的特征提取，特征提取算法的优劣将直接影响到系统的运行效果。设D为一个包含m个文档的文档集合Di为第i个文档的特
6、征向量，则有D=D1，D2，Dm， Di=(di1di2dij)，i=12，m j=1，2，n。其中dij(i=1，2，m； j=1，2，n)为文档Di中第j个词条tj的权值它一般被定义为tj在Di中出现的频率tij的函数，例如采用TF-IDF函数，即dij=tij*log(N/nj)。其中N是文档数据库中文档总数，nj是文档数据库含有词条tj的文档数目。假设用户给定的文档向量为D2，未知的文档向量为q，两者的相似程度可用两向量的夹角余弦来度量，夹角越小说明相似度越高。相似度的计算公式如下图 2 向量空间模型通过上述的向量空间模型，文本数据就转换成了计算机可以处理的结构化数据，两个文档之间的相
7、似性问题转变成了两个向量之间的相似性问题。2.2中文分词技术在使用向量模型表示文档时，首先要对文档进行词汇化处理。对于英语或者法语等语言来说，将文档转化成词的集合比较简单，但是对于汉语来说，不像英文文本的单词那样有空格来区分，这个处理过程要依赖于分词技术。从简单的查词典的方法，到后来的基于统计语言模型的分词方法，中文分词的技术已趋于成熟。但是，尽管现在分词软件的准确率已经比较高了，它对专业术语（称为未登录词识别）的识别率还不是很好。例如“来自星星的你”，分词可以成功切分为“来自星星的你”，但是怎样把“来自星星的你”作为一个完整的专有名词（电视剧名称）识别出来，还有很多技术要解决。为了进一步提高
8、关键词抽取的准确率，通常需要在词库中添加专名词表来保证分词的质量。在完成分词之后，我们对词语的位置信息做进一步的发掘，需要确定记录位置信息的方式以及各个位置的词在反映主题时的相对重要性。标题、摘要和结论、正文等文章各个部分的位置权重是各不相同的，当软件逐词扫描统计词频时，记录每个词的位置信息。在计算文档的特征向量的值时，还需要对文本集进行一些处理，过滤掉无用的信息。滤除这些没有作用的词语可以减少文本特征向量的维数，减少不必要的运算。常见做法包括： 去掉一些低频词，比如某些单词只在一两个文本中出现过，这样词留在集合中会导致大部分文本样本的该属性值为0。 去掉停止词，一般这种词几乎不携带任何信息。
9、例如：“的”、“地”、“得”之类的助词，以及像“然而”、“因此”等只能反映句子语法结构的词语，它们不但不能反映文献的主题，而且还会对关键词的抽取造成干扰，有必要将其滤除。应该去掉的停止词为所有虚词以及标点符号。 去掉一些标记信息，这主要针对网页文本或其他的标记语言文本。 （二）：特征抽取1.文本特征抽取目前大多数中文文本分类系统都采用词作为特征项，作为特征项的词称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算 。如果把所有的词都作为特征项，那么特征向量的维数将过于巨大，会对分类系统的运算性能造成极大的压力。在这样的情况下，要完成文本分类几乎是不可
10、能的。寻求一种有效的特征降维方法，不仅能降低运算复杂度，还能提高分类的效率和精度，是文本自动分类中一项重要技术。特征抽取的主要功能就是在不损伤核心信息的情况下降低向量空间维数，简化计算，提高文本处理的速度和效率。相对于其他分类问题，文本特征抽取的方式常见的有4种： 用映射或变换的方法把原始特征变换为较少的新特征； 从原始特征中挑选出一些最具代表性的特征； 根据专家的知识挑选最有影响的特征； 基于数学方法进行选取，找出最具分类信息的特征。 其中基于数学方法进行特征选择比较精确，人为因素干扰少，尤其适合于文本应用。这种方法通过构造评估函数，对特征集合中的每个特征进行评估，并对每个特征打分，这样每个
11、词语都获得一个评估值，又称为权值，然后将所有特征按权值大小排序，提取预定数目的最优特征作为提取结果的特征子集。2.评估函数对用数学方法进行特征选择的算法，决定文本特征提取效果的主要因素是评估函数的质量，常用评估函数包括：(1) TF-IDF单词权重最为有效的实现方法就是TF-IDF它是由Salton在1988 年提出的。其中TF 称为词频，用于计算该词描述文档内容的能力。IDF 称为反文档频率，用于计算该词区分文档的能力。TF*IDF 的指导思想建立在这样一条基本假设之上：在一个文本中出现很多次的单词，在另一个同类文本中出现次数也会很多，反之亦然。所以如果特征空间坐标系取TF词频作为测度，就可
12、以体现同类文本的特点。另外还要考虑单词区别不同类别的能力，TF*IDF法认为一个单词出现的文本频率越小，它区别不同类别的能力就越大，所以引入了逆文本频度IDF的概念：以TF和IDF的乘积作为特征空间坐标系的取值测度。TF-IDF法是以特征词在文档d中出现的次数与包含该特征词的文档数之比作为该词的权重，即其中，Wi表示第i个特征词的权重，TFi(t，d)表示词t在文档d中的出现频率，N表示总的文档数，DF(t)表示包含t的文档数。用TF-IDF算法来计算特征词的权重值是表示当一个词在这篇文档中出现的频率越高，同时在其他文档中出现的次数越少，则表明该词对于表示这篇文档的区分能力越强，所以其权重值就
13、应该越大。将所有词的权值排序，根据需要可以有两种选择方式： 选择权值最大的某一固定数n个关键词 选择权值大于某一阈值的关键词 达观数据的实践经验是，计算机选择的关键词数量在1015个，人工选择的关键词数量在46个比较合适，通常具有最好的覆盖度和专指度。TFIDF算法是建立在这样一个假设之上的：对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合的其他文档中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力，TFIDF法认为一个单词出现的文本频数越小，它区别不同类别文本的能力就越大。因此引入了逆文本频度IDF的
14、概念，以TF和IDF的乘积作为特征空间坐标系的取值测度，并用它完成对权值TF的调整，调整权值的目的在于突出重要单词，抑制次要单词。但是在本质上IDF是一种试图抑制噪音的加权，并且单纯地认为文本频数小的单词就越重要，文本频数大的单词就越无用，显然这并不是完全正确的。IDF的简单结构并不能有效地反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，所以TF*IDF法的精度并不是很高。此外，在TFIDF算法中并没有体现出单词的位置信息，对于Web文档而言，权重的计算方法应该体现出HTML的结构特征。特征词在不同的标记符中对文章内容的反映程度不同，其权重的计算方法也应不同。因此应该
15、对于处于网页不同位置的特征词分别赋予不同的系数，然后乘以特征词的词频，以提高文本表示的效果。(2) 词频法词频是一个词在文档中出现的次数。通过词频进行特征选择就是将词频小于某一阈值的词删除，从而降低特征空间的维数。这个方法是基于这样一个假设，即出现频率小的词对过滤的影响也较小。但是在信息检索的研究中认为，有时频率小的词含有更多的信息。因此，在特征选择的过程中不宜简单地根据词频大幅度删词。(3) 文档频次法文档频数(Document Frequency， DF)是最为简单的一种特征选择算法，它指的是在整个数据集中有多少个文本包含这个单词。在训练文本集中对每个特征计一算它的文档频次，并且根据预先设
16、定的阑值去除那些文档频次特别低和特别高的特征。文档频次通过在训练文档数量中计算线性近似复杂度来衡量巨大的文档集，计算复杂度较低，能够适用于任何语料，因此是特征降维的常用方法。在训练文本集中对每个特征计算它的文档频数，若该项的DF值小于某个阈值则将其删除，若其DF值大于某个阈值也将其去掉。因为他们分别代表了“没有代表性”和“没有区分度”两种极端的情况。DF特征选取使稀有词要么不含有用信息，要么太少而不足以对分类产生影响，要么是噪音，所以可删去。DF的优点在于计算量小，速度快，它的时间复杂度和文本数量成线性关系，所以非常适合于超大规模文本数据集的特征选择。不仅如此，文档频数还非常地高效，在有监督的特征选择应用中当删除90%单词的时候其性能与信息增益和X2统计的性能还不相上下。但如果某一
