HI,欢迎来到好期刊网,发表咨询:400-888-9411 订阅咨询:400-888-1571证券代码(211862)

一种基于BERT的自动文本摘要模型构建方法

摘要:针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。

关键词:
  • 文本摘要  
  • bert模型  
  • 注意力机制  
作者:
岳一峰; 黄蔚; 任祥辉
单位:
华北计算技术研究所; 北京100083
刊名:
计算机与现代化

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机与现代化

计算机与现代化杂志紧跟学术前沿,紧贴读者,国内刊号为:36-1137/TP。坚持指导性与实用性相结合的原则,创办于1985年,杂志在全国同类期刊中发行数量名列前茅。