炼数成金 门户 商业智能 自然语言处理 查看内容

HFL技术分享 #12 | 对象级情感分析经典模型介绍

2019-6-11 09:58| 发布者: 炼数成金_小数| 查看: 27835| 评论: 0|原作者: 余晟|来自: 哈工大讯飞联合实验室

摘要: 情感分析(Sentiment analysis),又称观点挖掘(Opinion mining),是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。情感分析对于快速掌握大众情绪的走向、预测热点事件等有重要的作用,并与我们的 ...

tm 网络 工具 模型 源码

01、背景介绍
情感分析(Sentiment analysis),又称观点挖掘(Opinion mining),是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。情感分析对于快速掌握大众情绪的走向、预测热点事件等有重要的作用,并与我们的生活息息相关。比如你想买入某一件商品,首先要做的一件事可能就是在互联网上找到产品的评价信息,并从评价中分析得到对产品或属性的情感倾向。但是互联网上的信息量巨大,这使快速全面分析评价信息的难度越来越大,所以情感分析任务具有重要的研究价值。

对象级(Aspect-level)情感分析是情感分析的一项基础任务,给定一个句子和句子相关的一个对象(aspect,target),判断句子针对给定的对象的情感倾向。对象级情感分析与典型情感分析任务不同,其重点是研究基于对象的情感,例如在“Great food but the service was dreadful !”句子中,基于对象“food”是正向的,基于对象“service”是负面的。

02、数据集简介
对象级情感分析在SemEval2014/2015/2016评测中都有对应的子任务,下面以SemEval 2014 Task 4-2为例介绍该任务的数据集。这一数据集是消费者的评价,每一条评价包含多个aspect及每个aspect对应的情感类别(正向、负向和中性)。数据集中具体aspect和类别的分布如下表所示:

表 1:SemEval2014 Task4-2数据集分布

如下是数据的示例:
1. Service was slow, but the people were friendly. → {trg: “Service”, pol: “negative”}, {trg: “people”, pol: “positive”} 
2. Snelle bediening en vriendelijk personeel moet ook gemeld worden!! → {trg: “bediening”, pol: “positive”}, {trg: “personeel”, pol: “positive”}

03、典型方法介绍
3.1 TD-LSTM、TC-LSTM
《Effective LSTMs for Target-Dependent Sentiment Classification》是唐都钰等人发表在CoLing 2016上的一篇文章。文章主要提出了Target-Dependent Long Short-Term Memory (TD-LSTM) 和 Target-Connection Long Short-Term Memory (TC-LSTM) 两个模型。

众所周知,LSTM是循环神经网络(RNN)的一种,RNN的优点是保留了可以表示任意长上下文窗口的信息的状态,具有选择性通过时序步骤传递信息的能力。但是RNN模型在反向传播训练时容易出现梯度消失或梯度爆炸的问题,LSTM通过门(gate)的开关实现时间上的记忆功能一定程度上缓解了这一问题。LSTM模型经过多层的抽象,可以得到文本的语义信息表达,在很多NLP任务上都取得了优秀的效果。文章中的TD-LSTM和TC-LSTM两种方法就是基于LSTM模型的一种设计。

3.1.1 TD-LSTM
LSTM的基本模型没有考虑到目标词和句子的语义关联信息,如果使用LSTM模型只对句子建模不考虑目标词的话,对不同的对象将得到相同的结果,显然不符合对象级情感分析任务的基本要求。为解决这一问题,文章提出TD-LSTM方法。

图 1:TD-LSTM模型结构

如上图所示,TD-LSTM方法的基本思想就是在句子中的目标词处进行分割,对前后两部分文本分别使用LSTM建模(LSTM-L,LSTM-R),其中前后各部分都包含目标词,LSTM-L从左向右,LSTM-R从右向左。模型对LSTM-L和LSTM-R得到的最终的隐藏向量进行拼接(文中提出也可以尝试对两个向量取平均或加和),使用softmax作为激活函数进行分类。

3.1.2 TC-LSTM
对比LSTM模型,TD-LSTM可以更好地利用目标词的信息,但是仍然不够充分,因为TD-LSTM没有捕捉到目标词和上下文信息的交互关系。基于以上的考虑,作者提出了TC-LSTM。如下图所示,对比TD-LSTM,TC-LSTM的将上下文的每个词与目标词向量进行拼接作为句子的输入,使用这样的方式在上下文信息中显式地引入了目标词信息,TC-LSTM 在句子表示中更好地利用了目标词和每个上下文词之间的关系。

图 2: TC-LSTM模型结构图

3.1.3 结果对比

表 2:TD-LSTM、TC-LSTM结果对比

如表格所示,TD-LSTM对比LSTM有较大的提升,这一结果充分展示了目标词信息在对象级情感分类任务上的重要性,结合Target-connection机制,TC-LSTM在较精确率这一指标上取得了超过所有基线模型的较好的效果。

表格中Target-dep和Target-dep+两种方法是使用了target词的依赖关系特征并引入了情感词典特征,所以效果较好,可以发现情感词典特征可以进一步提高分类效果。文章提出的TC-LSTM方法并没有使用情感词典与Target-dep+方法进行的对比,在Macro-F1指标上稍差一些,但是如果结合情感词典TC-LSTM有潜力取得更大的提升,后续值得进一步探索。

论文地址
http://www.aclweb.org/anthology/C16-1311

项目源码
https://drive.google.com/drive/folders/17RF8MZs456ov9MDiUYZp0SCGL6LvBQl6

3.2 AE-LSTM、AT-LSTM、ATAE-LSTM
《Attention-based LSTM for Aspect-level Sentiment Classification》是王业全(主页:https://www.wangyequan.com)等人发表在EMNLP 2016上的一篇文章。

针对对象级情感分析任务,文章中提出了LSTM with Aspect Embedding(AE-LSTM)、Attention-based LSTM(AT-LSTM)和Attention-based LSTM with Aspect Embedding(ATAE-LSTM)三种模型,并取得了较好的效果。文章中的三种方法着重在对象词表达和注意力机制(Attention Mechanism)上进行研究。

Attention机制最早是在视觉图像领域提出来的,其思想在九几年就提出来了,但是真正火起来应该算是Google Deepmind团队的这篇论文《Recurrent Models of Visual Attention》,他们在RNN模型上使用了Attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 中,使用类似Attention的机制在机器翻译任务上将翻译和对齐同时进行,可以算作第一个将Attention机制应用到NLP领域中的工作。接着类似的基于Attention机制的RNN模型扩展开始应用到各种NLP任务中。AT-LSTM和ATAE-LSTM两种方法就是将Attention机制的思想应用在对象级情感分类任务上,并取得了较好的效果。

3.2.1 AE-LSTM
Aspect信息在对象级情感分析任务上具有至关重要的作用,给定同一句话,针对不同Aspect可能会得到完全相反的结果,为了更好地利用Aspect信息,文章中提出Aspect Embedding的思想。具体如图三中“Aspect Embedding”所示,为了捕获Aspect与上下文之间的联系,Aspect Embedding将与上下文的LSTM状态向量拼接。

3.2.2 AT-LSTM
传统的LSTM方法在对象级情感分析任务上不能检测到文本信息的哪一部分是最关键的,为了解决这一问题,AT-LSTM方法增加了Attention机制。模型首先通过一个LSTM模型得到每个词的隐藏状态向量,然后将其与Aspect Embedding连接,从而得到一个权值向量α,最后再根据权值向量对隐藏向量进行赋值,从而得到针对于对象词的句子表示,然后预测情感类别。模型结构如下图所示:

图 3: AT-LSTM模型结构

3.2.3 ATAE-LSTM
在 AT-LSTM 的基础上,对输入进一步调整便可以得到 ATAE-LSTM 模型,即在句子输入时额外拼接了对象词向量,与TC-LSTM的思想类似,使用这种方法进一步在句子表示中更好地利用目标词和每个上下文词之间的关系,具体如下图:

图 4:ATAE-LSTM模型结构

3.2.4 结果对比

表 3:AE-LSTM、AT-LSTM、ATAE-LSTM结果对比

如表格所示,AE-LSTM、AT-LSTM和ATAE-LSTM三种结构均取得了较好的效果,其中ATAE-LSTM的指标达到了当时较高水平。

论文地址
http://www.aclweb.org/anthology/D16-1058
项目源码
https://drive.google.com/file/d/0ByrP6fK5LlHVN0dtRVlPSlVsclk/view

3.3 TNet
《Transformation Networks for Target-Oriented Sentiment Classification》是发表在ACL-2018上的文章,文章提出了TNet模型,如下图所示,其中最底部是一个Bi-LSTM,根据输入的词序列X={x1,x2,...,xn}经过Bi-LSTM得到状态输出h(0)={ h1(0), h2(0),..., hn(0)},中间层包含L个CPT层,模型经过中间层将结果送到最上层的卷积层,使用Max Pooling的方法提取特征,最后使用Softmax得到输出的情感类别。下面着重介绍一下中间层中的CPT的结构。

图 5:TNet模型结构

每一个单独的CPT结构如下图所示,包含量身定制的TST(Target-Specific Transformation)和LF/AS两个子结构。

图 6:CPT模块详情

3.3.1 TST
TST结构主要是为了强化上下文的词表达与对象词表达之间的关系,其最底层是一个Bi-LSTM,输入是对象词的Embedding,输出对应的隐藏层状态,这样的对象词表达会更充分地表示原有对象词的含义,因为传统的方法(多个对象词取平均)会忽略组成target(即对象)的多个词的顺序及重要度,文章首次提出使用Bi-LSTM方法对target词的词表达。文章认为同一target对不同的上下文的相关度不同(即句子中有些成分对target密切相关,有些成分与target基本无关),那么针对每一个hmt(target的隐层状态输出)对每一个hi(l)(上下文句子的隐含层状态输出)的相关度应该不同,那么就有:

其中F就是target的第j个词的隐藏层状态向量对整个句子的第i个词的隐含层状态的相关度,计算方法如下:

最后将r与h拼接后经过一个全连接层送到LF/AS结构中。经过非线性的TST后,原上下文信息容易大量丢失。为了解决这一问题,文章提供两种策略:Lossless Forwarding(LF)和Adaptive Scaling(AS)。

3.3.2 LF
LF的结构是将第(l)个CPT层的输入hi(l)在CPT的输出时再加回来,这样的话就不会损失掉原有的信息了,公式如下:

这样层层传递下去,每一层都包含以前所有层的信息,如下公式所示:


3.3.3 AS
AS的结构是类似RNN的门机制,训练一个门结构,AS通过门函数控制哪些信息被传递和传递的比例。门函数如下所示:

因此,AS策略可以保证上下文信息在每一个更高层中都被利用,并使用门机制来控制信息的传递。

3.3.4 实验结果

表 4: TNet模型结果对比

实验表明TNet-LF和TNet-AS在对象级情感分类任务上,均取得了较好的效果,并达到了当前的较高水平。

论文地址
http://aclweb.org/anthology/P18-1087
源码地址
https://github.com/lixin4ever/TNet

04、总结
近年来,众多研究者在对象级情感分类任务上刻苦钻研,提出了很多行之有效的神经网络模型,模型的主要设计思路大多都是更好地利用target词特征及强化target词与上下文的关系。本文从近几年的研究文章中选择了几种典型的模型进行介绍,如有错误或侵权可与我们沟通。

参考文献
[1]Retrieval F T I I. Opinion Mining and Sentiment Analysis[J]. Foundations & Trends in Information Retrieval, 2008, 2(1–2):1-135.
[2]Liu B. Sentiment Analysis and Opinion Mining[C]// Morgan & Claypool, 2011:167.
[3]Li Dong, Furu Wei, Chuanqi Tan, Duyu Tang, Ming Zhou, and Ke Xu. 2014. Adaptive recursive neural network for target-dependent twitter sentiment classification. In Proceedings of ACL, pages 49–54.
[4]Duyu Tang, Bing Qin, and Ting Liu. 2016b. Aspect level sentiment classification with deep memory net
[5]Yequan Wang, Minlie Huang, Li Zhao, and Xiaoyan Zhu. 2016. Attention-based lstm for aspect-level sentiment classification. In EMNLP. pages 606– 615.
[6]Li X, Bing L, Lam W, et al. Transformation Networks for Target-Oriented Sentiment Classification[J]. 2018.
[7]《Attention-based LSTM for Aspect-level Sentiment Classification》阅读笔记 https://zhuanlan.zhihu.com/p/34005136
[8]用神经网络做情感分类《Transformation Networks for Target-Oriented Sentiment Classification》 https://blog.csdn.net/u014475479/article/details/81262593

声明:本文版权归原作者所有,文章收集于网络,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-9-20 00:53 , Processed in 0.166511 second(s), 23 queries .