炼数成金 门户 商业智能 自然语言处理 查看内容

用腻了 CRF,试试 LAN 吧?

2019-11-19 14:46| 发布者: 炼数成金_小数| 查看: 14357| 评论: 0|原作者: Tobias Lee|来自: 知乎专栏:NLPer 的成长之路

摘要: 统计自然语言处理中,条件随机场(Conditional Random Field)在词性标注,命名实体识别,中文分词等序列标注任务上都取得了惊人的效果。然而在深度学习时代,很多情况下 BiLSTM-CRF 并没有比不对输出序列进行建模的 ...

tm 网络 工具 模型 案例

西湖大学在 EMNLP 2019 上提出了一种序列标注模型,在比 BiLSTM-CRF 训练解码速度更快的情况下,取得了更高的精度。

论文链接: arxiv.org/abs/1908.08676
源码链接: Nealcly/BiLSTM-LAN(https://github.com/Nealcly/BiLSTM-LAN)

1. 序言
统计自然语言处理中,条件随机场(Conditional Random Field)在词性标注,命名实体识别,中文分词等序列标注任务上都取得了惊人的效果。然而在深度学习时代,很多情况下 BiLSTM-CRF 并没有比不对输出序列进行建模的 BiLSTM-softmax 取得更好的效果。一个可能的原因是神经网络编码器已经有很强的序列信息编码能力,在此基础上 CRF 并没有引入更多的有效信息。

为了更好的对输出序列进行编码,论文中提出了一种逐层改进的基于标签注意力机制的网络(Hierarchically-Refined Label Attention Network)。该模型通过利用标签知识,更好的捕捉标签间长期的依赖关系。在英文词性标注,命名实体识别和组合范畴语法超标注的任务上,BiLSTM-LAN 在比 BiLSTM-CRF 训练解码速度更快的情况下,取得了更好的效果。

如下图所示,以词性标注为例,对输入句子 "They can fish and also tomatoes here", 第一层中,模型通过局部信息对每个单词词性进行判断,倾向于判断 "can" 为情态动词(MD),"fish" 为动词(VB)。在经过多层LAN信息交互以后,长期标签依赖关系被考虑以后,"tomatoes"为名词的信息帮助模型对 "can" 和 "fish" 的词性进行重新判断,认定 "can" 和 "fish" 应为动词(VB)和名词(NN)。


示意图

2. 模型
下图模型中包含了两层 BiLSTM-LAN。每一个 BiLSTM-LAN 由对序列信息进行编码的 BiLSTM Encoding Layer 和对标签信息进行推理的 Label Attention Inference Layer 组成。


LAN-Model

3. 实验
本文在词性标注(WSJ, UD v2.2),命名实体识别(OntoNotes 5.0)和组合范畴语法超标注(CCGBank)上进行了实验。

其中,*表示利用多任务与半监督学习取得的结果

4. 分析
4.1 标签可视化
论文使用t-SNE对词性标注的标签向量进行了可视化分析。


训练开始前,所有标签随机分散到空间内。模型训练5轮后,可以看到"NNP"和"NNPS","VBD"和"VBN"等相似词性聚集到一起。在训练38轮后,几乎所有相似的词性被聚集到了一起,例如"VB","VBD","VBN","VBG"和"VBP"。

4.2 超标签复杂度
为了验证BiLSTM-LAN捕捉长距离标签依赖关系的能力,论文中对不同复杂度的超标签标注准确率进行了分析。


越复杂的超标签需要更长期的标签依赖关系进行判断。随着复杂度的增加,BiLSTM-CRF 并没有比 BiLSTM-softmax 表现的好,然而 BiLSTM-LAN 表现显著高于其他模型。

4.3 案例分析
下图是不同模型的预测结果,错误部分使用黄色标注。

由于进行局部预测,BiLSTM-softmax 并不能捕捉到 "settled" 和 "at" 的关系。BiLSTM-CRF在出现"/PP"后,由于马尔科夫假设,预测 "with" 为 "PP/NP"。可以看出,BiLSTM-LAN 基于全局信息更好地进行了预测。

5. 总结
理论和序列标注实验结果证明,BiLSTM-LAN 通过对所有候选标签进行编码的方式,很好的捕捉了标签间长期依赖关系,并在一定程度上解决了标注偏执问题。在比BiLSTM-CRF训练解码速度更快的情况下,在词性标注,命名实体识别和组合范畴语法超标注任务上可以达到更高的精度。

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754
1

鲜花

握手

雷人

路过

鸡蛋

刚表态过的朋友 (1 人)

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-12-12 05:57 , Processed in 0.163471 second(s), 25 queries .