炼数成金 门户 商业智能 自然语言处理 查看内容

帮BERT瘦身!我们替你总结了BERT模型压缩的所有方法

2019-12-3 09:59| 发布者: 炼数成金_小数| 查看: 6094| 评论: 0|来自: 机器学习研究会订阅号

摘要: 2018年10月,Google AI团队推出了Bert,可以说Bert一出生就自带光环。在斯坦福大学机器阅读理解水平测试SQuAD1.1中,Bert在全部两个衡量指标上,全面超越人类表现。并且在另外11种不同NLP测试中均创造了历史以来最好 ...
2018年10月,Google AI团队推出了Bert,可以说Bert一出生就自带光环。

在斯坦福大学机器阅读理解水平测试SQuAD1.1中,Bert在全部两个衡量指标上,全面超越人类表现。并且在另外11种不同NLP测试中均创造了历史以来较好成绩,将GLUE基准提升7.6%,将MultiNLI的准确率提提升5.6%。

然而目前较大的BERT模型具备3.4亿个参数,这个拥有12层神经网络的“多头怪”(这里指BERT-Base,BERT-Large有24层),在4个 Cloud TPU 上需要训练 4 天(BERT-Large需要16个Cloud TPU),如此高的训练成本让许多想尝试的同学望而却步,并且很难和现在的智能手机兼容。

于是,BERT压缩模型的研究就显得很有前瞻性。

本文将介绍目前有关BERT模型压缩的六大有效方法,以及相关论文。

BERT六大瘦身大法
网络剪枝:包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵,或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝,还有一些模型通过正则化方法实现剪枝。

低秩分解:即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存,也可以用到前馈层或自注意力层的参数矩阵中以加快模型训练速度。

知识蒸馏:通过引入教师网络用以诱导学生网络的训练,实现知识迁移。教师网络拥有复杂的结构用以训练出推理性能优越的概率分布,是把概率分布这部分精华从复杂结构中“蒸馏”出来,再用其指导精简的学生网络的训练,从而实现模型压缩,即所谓知识蒸馏。另外,从BERT模型中蒸馏出不同的网络结构如LSTMs等,以及对教师网络结构的进一步挖掘都有望实现知识蒸馏这一方法的不断优化。

参数共享:ALBERT是谷歌提出的BERT改进版,其改进之一就是参数共享。全连接层与自注意力层都实现参数共享,即共享了编码器中的所有参数,这样一来,不仅减少了参数量还提升了训练速度。

量化:即通过减少每个参数所需的比特数来压缩原始网络,可以显著降低内存。

预训练和Downstream:模型压缩可以在模型训练时进行也可以在模型训练好之后进行。后期压缩使得训练更快,通常不需要训练数据,而训练期间压缩可以保持更高的准确性并导致更高的压缩率。

论文列表和结果对比
还有针对论文的贴心分类,下图拿好不谢

对比所有论文内容后,我们也对以下指标进行了对比:参数减少,推理加速和准确性。

对比后很容易得出赢家:我会选择ALBERT,DistilBERT,MobileBERT,Q-BERT,LayerDrop,RPP。


相关论文下载链接如下:
Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning
https://openreview.net/forum?id=SJlPOCEKvH

Are Sixteen Heads Really Better than One?
http://arxiv.org/abs/1905.10650

Pruning a BERT-based Question Answering Model
http://arxiv.org/abs/1910.06360

Reducing Transformer Depth on Demand with Structured Dropout
https://openreview.net/forum?id=SylO2yStDr

Reweighted Proximal Pruning for Large-Scale Language Representation
https://openreview.net/forum?id=r1gBOxSFwr&noteId=r1gBOxSFwr

Structured Pruning of Large Language Models
http://arxiv.org/abs/1910.04732

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
https://openreview.net/forum?id=H1eA7AEtvS

Extreme Language Model Compression with Optimal Subwords and Shared Projections
https://openreview.net/forum?id=S1x6ueSKPr

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
http://arxiv.org/abs/1910.01108

Distilling Transformers into Simple Neural Networks with Unlabeled Transfer Data
http://arxiv.org/abs/1910.01769

Patient Knowledge Distillation for BERT Model Compression
http://arxiv.org/abs/1908.09355

TinyBERT: Distilling BERT for Natural Language Understanding
https://openreview.net/forum?id=SJxjVaNKwB

MobileBERT: Task-Agnostic Compression of BERT by Progressive Knowledge Transfer
https://openreview.net/forum?id=SJxjVaNKwB

Q8BERT: Quantized 8Bit BERT
http://arxiv.org/abs/1910.06188

Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
http://arxiv.org/abs/1909.05840

其他相关论文
最后,如果你想了解更多关于BERT压缩的内容,还可以阅读以下论文
Sparse Transformer: Concentrated Attention Through Explicit Selection
https://openreview.net/forum?id=Hye87grYDH

Lightweight and Efficient Neural Natural Language Processing with Quaternion Networks Adaptively Sparse Transformers
https://openreview.net/forum?id=Hye87grYDH

相关报道:
http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html?nsukey=ybC4S8MVLPKNU7DM4%2B%2FxCchosNb%2FkQMH1xRWEJPoH2FK3VqSg%2FErKkMaFO%2FrSEv6t%2BTJL%2BIGp7nGgoxN2awoKnsnE3%2FtXq4DRRnwFfOKNVUZHwTV1mT5SBMAAxEN7xJpfHBI5PGIY0Kteb%2Fq%2BUbhQQ%3D%3D

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-12-12 05:27 , Processed in 0.161174 second(s), 25 queries .