文献

J-GLOBAL ID：202102279776457681   整理番号：21A1423157

Hie-BART:階層型BARTによる文書要約

著者 (3件)： 秋山和輝 (愛媛大 大学院理工学研究科) ,  田村晃裕 (同志社大 理工) ,  二宮崇 (愛媛大 大学院理工学研究科)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 27th  ページ： ROMBUNNO.B7-1 (WEB ONLY)  発行年： 2021年03月 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・MG-SA(Multi-Granularity Self-Attention)の概念をBARTモデルに適用し,文と単語の階層的な関係を考慮した要約を可能とする手法として,階層的BART(Hie-BART)を提案。
・具体的には,入力文書を単語レベルと文レベルの情報に分割し,BARTにおけるEncoderのSans(Multi-head Self-Attention Networks)層では,単語レベルの関連性を計算するだけではなく文レベルの関連性を計算。
・そして,単語レベルと文レベルのマルチヘッドの出力を結合し,単語レベルと文レベルの双方を考慮した要約生成を実現。

シソーラス用語： *自然言語処理 ,  単語 ,  文章 ,  階層構造 ,  *報告 ,  文書 ,  符号器 ,  *文書処理 ,  アテンション機構
準シソーラス用語： BERT【言語モデル】 ,  エンコーダ ,  文 ,  要約

分類 (1件)： 自然語処理  (JE06000L)

タイトルに関連する用語 (2件)： 階層 ,  文書