《基于句法增强的细粒度情感三元组抽取方法》由会员分享，可在线阅读，更多相关《基于句法增强的细粒度情感三元组抽取方法（19页珍藏版）》请在金锄头文库上搜索。
1、 基于句法增强的细粒度情感三元组抽取方法 刘欣逸 宁 博 王 明 杨 超 商 迪 李冠宇1 （大连海事大学信息科学技术学院 辽宁 大连 116026）2 （国网辽宁省电力有限公司信息通信分公司 沈阳 110006）文本情感分析是自然语言处理领域中的一个分支任务，主要是从大量且复杂的评价信息中抽取出用户对各种产品的评价观点，进一步挖掘出这些评价信息深层次的情感倾向和含义.从电商平台或影评软件的评价信息提取出的评价观点不仅有利于用户快速了解产品信息以及评估产品购买价值，还可以为企业提供不同产品相应的使用反馈，从而帮助企业提升产品质量、跟进竞争策略和提高企业竞争力，因此文本情感分析有较高的研究价值.
2、传统的文本情感分析主要是针对文档或者句子进行情感倾向分析，得到整篇文档或者整个句子的情感倾向，如积极、消极或者中性，这是一个粗粒度的情感分析任务.如果一篇文档或一个句子中有多个属性词对应多个情感倾向时，这种粗粒度的分析无法抽取出用户所评价的对象，也无法准确地分析出不同的评价对象所对应的情感倾向.随后，研究者们进一步研究细粒度的情感分析，其中属性级情感分析1-7是分析已知的属性词对应的情感倾向，然而这种已知属性词的前提并不总是存在的，因此有人提出了属性词抽取子任务8-10，该子任务的目的是从句子中抽取出需要的属性词.之后，研究者们11-17将属性词抽取和情感分类2个子任务进行结合，抽取出用户所评
3、价的评价对象（也称属性词）和该属性词对应的情感倾向.然而，除了属性词和情感倾向，该属性词的评价词也是十分重要的要素，可以得到用户对该产品某一方面积极或者消极的态度，这可以给商家和消费者提供更加准确的数据.Peng 等人18认为评价词表示的是情感产生的原因，应该将评价词抽取看作一个重要的子任务而不是仅仅作为辅助任务，因此提出了一个新的情感分析任务：属性级情感三元组抽取18-23（aspect sentiment triplet extraction，ASTE），该任务是在属性词抽取和情感分类联合学习的基础上将评价词也抽取出来，得到一个三元组（属性词，评价词，情感倾向）.在上述细粒度情感三元组抽取
4、任务中，研究者们没有考虑在联合框架中引入句法信息来共同增强多个子任务，然而句子之间的句法信息对属性词提取、评价词提取和情感分类任务有十分重要的影响.例如，当属性词和评价词是由多个单词构成时，以往的研究很难准确地抽取出全部的单词，存在跨度问题.本文认为如果利用句子之间的句法信息，并根据单词之间的依存关系，可以有效地提高抽取的准确性.当评价词与属性词相距较远时，之前的研究没有考虑二者之间的句法关系，可能不会将二者当作有关联的信息，无法提取出准确的三元组，但如果利用句法依存关系，就可以对评价词和属性词匹配有积极影响.因此针对上述问题，提出了一个基于句法增强的情感三元组抽取框架，该框架是联合学习框架，
5、采用多头任务学习层对3个子任务共同学习，还可以充分利用句法信息增强多个子任务.设计了一个依存句法嵌入图卷积网络，充分地对句子中的每一个单词之间的句法依存关系进行建模.如图1 所示，“beef noodles were great but the service was dreadful !”中存在多个属性词“beef noodles”和“service”，也存在多个评价词和不同的情感倾向，表1 所表示的是图1 中的依存关系类型及其含义.其中“noodles”是属性词的一部分，根据依存关系“compound”可以得到“beef ”与“noodles”有关联，组合为一个完整的属性词，又通过依存关系
6、“nsubj”可以推断出该属性词对应的评价词为“great”，从而分析出其情感倾向为积极.整个句子是通过序列标注的方法抽取出属性词和评价词，同时还需要识别出评价词和属性词之间的搭配关系以及所对应的情感倾向，最后获得细粒度的情感三元组分析结果:“beef noodles-great-positive”和“service-dreadful-negative”.本文的贡献主要有3 个方面：1）由于句子中存在重复或多词的属性词和评价词，本文提出了一种基于句法增强的细粒度情感三元组抽取模型，该模型利用句法信息来增强属性词抽取、评价词抽取和情感依赖分析这3 个子任务，从而提高了三元组抽取任务的准确性.2）
7、使用图卷积网络（graph convolution network,GCN）与依存句法树来生成图节点的句法信息，更好地保留了句子中的语法特征.3）在情感三元组任务的4个常用英文数据集和1个中文数据集上，设计了本文模型与基准模型的对比实验，并设计了子任务对比实验来进一步验证模型性能，实验结果表明了本文模型的有效性.1 相关工作近年来在细粒度情感分析的研究中有多个子任务，如属性级情感分类、属性词抽取、评价词抽取、情感分类联合学习和三元组任务等.基于属性级的情感分类任务1-7，是将已知的属性词融合到情感分类中.例如，Dong 等人1提出了自适应性递归神经网络（adaptive recursive n
8、eural network，AdaRNN），它根据每个单词之间的上下文和依存句法信息，自适应地将单词的情感传递给目标.Yang 等人2提出了一种以注意力为基础的双向LSTM（long short-term memory）方法来进行基于目标的情感分类任务.Tang 等人4针对注意力机制的缺点，提出了一种渐进式的自监督注意力学习方法，迭代地进行属性级情感分类预测，完善注意力机制.此外，Song 等人6为解决传统循环神经网络（recurrent neural network,RNN）和注意力带来的问题，提出了一种注意力编码器网络（attentional encoder network，AEN），使用
9、基于注意力的编码器来建模上下文和目标的关系，从而进行基于特定目标的情感分类任务.而Sun 等人7将属性词构造为一个辅助句，将属性级情感分类任务转化为句子对分类任务，利用BERT（bidirectional encoder representation from transformers）模型进行分类.属性词抽取任务是抽取评价中的属性词，Yin 等人8采用无监督的方式学习单词和依存路径的分布式表征，并用条件随机场（conditional random field, CRF）模型进行属性词的抽取.Li 等人9提出了一种新的属性词抽取框架，利用评价词Summary和属性词检测历史信息来提高属性词抽取
10、的准确性.因为基于序列的方法不能充分利用整个句子的整体含义，并且依赖关系存在局限性，因此，Ma 等人10提出了门控单元网络和位置感知注意力机制，并将属性词抽取任务定义为序列到序列的任务.之后，研究者们11-17将属性词抽取和情感分类2个子任务进行结合，Phan 等人11采用流水线的方式先抽取出属性词，再利用情感分类器来得到情感倾向.但由于子任务的分离，模型的错误率会加大，因此，Ma等人12提出联合学习属性词抽取和情感分类任务，设计了分层堆栈双向门控循环单元（hierarchical multilayer bidirectional gated recurrent units，HMBi-GRU）
11、模型，同时抽取目标并预测其情感极性.该模型在情感分类任务中使用了评价词作为辅助任务，没有更多地考虑评价词和分类任务之间的关联关系.之后，研究者对评价词有了更深入的研究，例如He 等人13提出的交互式多任务学习网络（interactive multi-task learning network, IMN）模型可以同时进行多个任务的联合学习，该模型中引入了一种消息传递机制，可以通过加大评价词注意力权重来增强文本表示.随后，Peng 等人18提出了属性级情感三元组抽取方法18-23，该方法采用流水线的方式先抽取出“属性词-情感极性”和评价词，之后通过分类器对属性词和评价词进行配对.但是Peng 等人
12、18的流水线方式还需要另外的配对任务，有严重的局限性也增加了错误率.因此，Xu 等人19提出了一个基于位置感知标记的端到端联合模型，实现了三元组的共同抽取，很好地解决了流水线方法中存在的问题，但是不能同时解决属性词重叠或者评价词重叠的问题.Wu 等人20提出了网格标记方案（grid tagging scheme，GTS），通过一个统一的网格标记任务以端到端的方式处理三元组任务或属性词-评价词词对抽取任务.与此同时，Zhang 等人21为解决统一标签和成对的属性词-情感极性带来的问题，提出了一个多任务学习框架实现属性词和评价词的联合抽取以及二者之间的情感关系解析，最终抽取出三元组.2 细粒度情感
13、三元组抽取模型2.1 任务定义本文属性级情感三元组抽取任务可以看作是序列标注任务和分类任务的结合.给定输入文本序列X=，xi表示该句子中第i个单词，|X|表示整个句子的长度，目标是输出一个三元组集合Y=yj表示第j个三元组元素，|Y|表示的是三元组集合的长度.每一个三元组是由3 个元素构成，即yj=分别表示属性词跨度、评价词跨度和情感倾向，其中sp和ep表示属性词的跨度和评价词的跨度，即开始位置和结束位置.因此，本文的主要任务可以表达为将一个句子X=通过模型学习转化为三元组集合：2.2 模型结构细粒度情感三元组抽取框架是联合抽取框架，其包括文本编码层、句法特征层、多头任务学习层和三元组解码层这
14、4 部分.模型结构图如图2 所示，其中n表示输入句子的长度，m表示输出三元组的个数，将序列文本输入到由句子编码模块和句法关联模块组成的文本编码层，得到句子上下文编码和依存句法分析树；再进入带有依存关系的图卷积网络来充分学习句法信息，得到上下文句法特征；接着，进入多头任务学习层，同时进行属性词抽取、评价词抽取和情感依赖关系分析；最后，基于多头任务学习层获得的结果进行解码，输出完整的三元组集合.Fig.2 Our model structure图2 本文模型结构2.3 文本编码层学习语义信息和语境信息需要将句子转化为词向量，这是文本编码层的关键.文本编码层是由句子编码模块和句法关联模块组成的.在句
15、子编码模块中，给定一个输入X=，为了可以充分地学习句子中每个单词的上下文信息，使用了一个双向长短期记忆网络（bi-directional long short-term memory，Bi-LSTM）.将输入的句子转化为向量形式，然后使用Bi-LSTM 网络进一步充分学习句子中的上下文信息.Bi-LSTM 不同于LSTM，它由2个不同方向的LSTM 组成，因此Bi-LSTM 不仅可以同LSTM 那样学习到每一个单词在句子中的长期依赖关系，而且可以从2个方向获取上下文信息，保留了更多的重要信息.输入的句子X=进行编码后得到向量表示Es=ei|eiRde，使用Bi-LSTM 得到句子的上下文表示H
16、s=，其中，=demb和dhid分别表示词向量的维度和LSTM 的隐藏状态维度，和分别表示正向和反向的LSTM.在句法关联模块中，给定一个输入X=，为学习到句子中的句法信息，利用依存句法分析将每一个句子转化为依存句法树，从而得到句子的依存关系.输入的句子X利用斯坦福依存句法分析，得到句子的依存句法表示DSP=dSP(X)=.其中，SP 表示斯坦福依存句法分析器，di表示第i个单词在依存句法树中相关联的父节点序号.此外，对于中文酒店数据集，本文采用哈尔滨工业大学的中文自然语言处理工具LTP 进行句法分析，同样得到句子的依存句法表示DLTP=dLTP(X)=.2.4 句法特征层该模型在句法特征层引入了图卷积网络（GCN）来学习单词之间的句法信息.在上一层的句法关联模块中得到了依存句法分析树，该依存分析树也可以表示为具有n个节点的图，
